Социальные сети Рунета
Четверг, 28 марта 2024

Машинное обучение глубокой нейронной сети с подкреплением на tensorflow.js: Трюки Обучать глубокие нейронные сети с нуля — задача не из простых. Требуется много данных и времени на обучение, но ускорить процесс могут помочь некоторые трюки, о которых я и расскажу под катом. Демонстрация прохождения простого лабиринта с использованием трюков. Длительност...

Где весной поговорить про Apache Ignite, распределенные базы данных и распределенное машинное обучение Начинается первая волна конференций, да и дружественные митапы активизировались. Присоединяйтесь. 15 марта, Санкт-Петербург — ODS SPB Meetup #5 Распределенный TensorFlow с Apache IgniteНа митапе, приуроченному ко дню рождения Open Data Science, Юрий Бабак, Руководитель гру...

Нейроморфные системы: компьютеры, вдохновлённые устройством человеческого мозга Рассказываем, кто и почему ими занимается / фото Paweł Czerwiński Unsplash Что такое нейроморфный чип Это — процессор, работа которого основана на принципах действия человеческого мозга. Такие устройства моделируют работу нейронов и их отростков — аксонов и дендритов — отв...

Обучение моделей TensorFlow с помощью Службы машинного обучения Azure Для глубокого обучения нейронных сетей (DNN) с помощью TensorFlow служба «Машинное обучение Azure» предоставляет пользовательский класс TensorFlow средства оценки Estimator. Средство оценки TensorFlow в пакете Azure SDK (не следует путать с классом tf.estimator.Estimator) по...

Устойчивость обучения GAN (Копаем глубже) В предыдущей статье на примере игрушечных моделей я попытался проанализировать почему же, собственно, у нас получается достаточно эффективно обучать GAN’ы. Сейчас же мы попробуем обобщить некоторые результаты и, самое главное, попробуем проанализировать как влияет архитект...

Uber выпустил открытый инструмент, обучающий ИИ-системы без написания кода Как пишет TAdviser со ссылкой на издание VentureBeat, Ludwig стал результатом двухлетней работы компании над оптимизацией разработки ИИ-систем для практических проектов. Сам сервис заказа такси задействует этот инструмент для таких задач, как извлечение данных из сканированн...

Как можно упростить и ускорить вычисление нейронной сети прямого распространения Здравствуйте, уважаемые читатели. О нейронных сетях написано и сказано очень много, преимущественно о том, как и для чего их можно применить. При этом как-то не очень много внимания уделяется двум важным вопросам: а) как нейронную сеть упростить и быстро вычислить (одно вычи...

[Перевод] Service mesh для микросервисов. Часть III. Более глубокий взгляд на Istio Перевод статьи подготовлен специально для студентов курса «Инфраструктурная платформа на основе Kubernetes». Это третья статья из серии публикаций, посвященных  Kubernetes и технологии service mesh (также известной как «сеть микросервисов» и «mesh-сеть микросервисов»). В ...

[Перевод] Кодирование речи на 1600 бит/с нейронным вокодером LPCNet Это продолжение первой статьи о LPCNet. В первом демо мы представили архитектуру, которая сочетает обработку сигналов и глубокое обучение для повышения эффективности нейронного синтеза речи. На этот раз превратим LPCNet в нейронный речевой кодек с очень низким битрейтом (с...

Google использовала бомжей для обучения собственной системы распознавания лиц Американское издание The New York Daily News рассказало, что один из официальных партнеров Google, помогающий собирать данные для “обучения” нейронных сетей компании, применял спорный способ для получения необходимых материалов. Так, фирма под названием Randstad искала бездо...

[Перевод] Композитор с долгой кратковременной памятью Автоматическое сочинение музыки Почти сразу после того, как я научился программированию, мне хотелось создать ПО, способное сочинять музыку. Я в течение нескольких лет предпринимал примитивные попытки автоматического сочинения музыки для Visions of Chaos. В основном при эт...

Fujitsu удалось установить рекорд скорости глубокого обучения Компания Fujitsu Laboratories объявила, что разработала технологию повышения скорости работы программного обеспечения для глубокого обучения, которая позволила установить мировой рекорд в этой области. Тестируя разработку с помощью системы AI Bridging Cloud Infra...

[Из песочницы] Передача знания и Нейронный машинный перевод на практике Нейронный машинные перевод (НМП, англ. Neural Machine Translation, NMT) развивается очень быстро. Сегодня, чтобы собрать свой переводчик, не нужно иметь два высших образования. Но чтобы обучить модель, нужен большой параллельный корпус (корпус, в котором предложению на исход...

Mindtech: разработаны генератор синтетических данных и пакет ИИ-инструментов Chameleon Британский стартап Mindtech Global Ltd представил продукт Mindtech Chameleon Simulator, ориентированный на создание массивов синтетических визуальных данных для обучения нейронных сетей, и пакет ИИ-инструментов Mindtech Chameleon, предоставляющий полный с...

Распознавание объектов в режиме реального времени на iOS с помощью YOLOv3 Всем привет! В данной статье мы напишем небольшую программу для решения задачи детектирования и распознавания объектов (object detection) в режиме реального времени. Программа будет написана на языке программирования Swift под платформу iOS. Для детектирования объектов буд...

[Перевод] RabbitMQ: отказоустойчивость и высокая доступность в кластерах Отказоустойчивость и высокая доступность — большие темы, так что посвятим RabbitMQ и Kafka отдельные статьи. Данная статья о RabbitMQ, а следующая — о Kafka, в сравнении с RabbitMQ. Статья длинная, так что устраивайтесь поудобнее. Рассмотрим стратегии отказоустойчивости, ...

«Ты узнаешь ее из тысячи...» или классифицируем изображения с веб-камеры в реальном времени с помощью PyTorch Вот бывает же в жизни такое. Сидишь себе не шалишь, никого не трогаешь, починяешь примус, а тут из этого примуса, из телевизора, да и вообще из каждого утюга, до тебя доносится: «нейронные сети, глубокое обучение, искусственный интеллект, цифровая экономика…». Я — человек,...

[Перевод] Глубокое обучение (Deep Learning): обзор Всем привет. Уже в этом месяце в ОТУС стартует новый курс — "Математика для Data Science". В преддверии старта данного курса традиционно делимся с вами переводом интересного материала. Аннотация. Глубокое обучение является передовой областью исследований машинного обучения ...

Книга «Прикладной анализ текстовых данных на Python» Технологии анализа текстовой информации стремительно меняются под влиянием машинного обучения. Нейронные сети из теоретических научных исследований перешли в реальную жизнь, и анализ текста активно интегрируется в программные решения. Нейронные сети способны решать самые сл...

[Из песочницы] BERT — state-of-the-art языковая модель для 104 языков. Туториал по запуску BERT локально и на Google Colab BERT — это нейронная сеть от Google, показавшая с большим отрывом state-of-the-art результаты на целом ряде задач. С помощью BERT можно создавать программы с ИИ для обработки естественного языка: отвечать на вопросы, заданные в произвольной форме, создавать чат-ботов, автом...

Книга «Машинное обучение и TensorFlow» Знакомство с машинным обучением и библиотекой TensorFlow похоже на первые уроки в автошколе, когда вы мучаетесь с параллельной парковкой, пытаетесь переключить передачу в нужный момент и не перепутать зеркала, лихорадочно вспоминая последовательность действий, в то время ка...

Генератор синтетических данных и пакет ИИ-инструментов Chameleon представила Mindtech Британский стартап Mindtech Global Ltd представил продукт Mindtech Chameleon Simulator, ориентированный на создание массивов синтетических визуальных данных для обучения нейронных сетей, и пакет ИИ-инструментов Mindtech Chameleon, предоставляющий полный с...

Книга «Знакомство с PyTorch: глубокое обучение при обработке естественного языка» Привет, Хаброжители! Обработка текстов на естественном языке (Natural Language Processing, NLP) — крайне важная задача в области искусственного интеллекта. Успешная реализация делает возможными такие продукты, как Alexa от Amazon и Google Translate. Эта книга поможет вам из...

Как распилить монолит на сервисы и сохранить производительность In-memory кэшей без потери консистентности Всем привет. Меня зовут Александр, я Java-разработчик в группе компаний Tinkoff. В данной статье хочу поделиться опытом решения проблем, связанных с синхронизацией состояния кэшей в распределенных системах. Мы столкнулись с ними, разбивая наше монолитное приложение на микр...

[Перевод] Демонстрация AresDB: инструмент анализа в реальном времени с открытым исходным кодом на основе GPU от Uber Благодаря анализу в реальном времени мы, сотрудники компании Uber, получаем представление о состоянии дел и эффективности работы и на основе данных решаем, как повысить качество работы на платформе Uber. Например, проектная команда мониторит состояние рынка и выявляет потенц...

Курс В этом курсе вас ждут Обработка естественных языков: извлечение именованных сущностей, построение онтологий предметных областей, кластеризация текстов — методы, позволяющие структурировать тексты. Компьютерное зрение: распознавание и классификация объектов....

[Перевод] Нейросети и глубокое обучение: онлайн-учебник, глава 6, ч.1: глубокое обучение Содержание Глава 1: использование нейросетей для распознавания рукописных цифр Глава 2: как работает алгоритм обратного распространения Глава 3: ч.1: улучшение способа обучения нейросетей ч.2: почему регуляризация помогает уменьшать переобучение? ч.3: как выбрать гиперпара...

[Перевод] Стартап, который использовал ИИ, чтобы разработать лекарство за 21 день И снова здравствуйте. В преддверии запуска курса «Нейронные сети на Python», хотим поделиться с вами переводом интересной статьи о вкладе ИИ в развитие медицины. Компания Insilico Medicine из Гонконга опубликовала исследование, показывающее, что их система глубокого обуче...

Neural Quantum States — представление волновой функции нейронной сетью В этой статье мы рассмотрим необычное применение нейронных сетей в целом и ограниченных машин Больцмана в частности для решения двух сложных задач квантовой механики — поиска энергии основного состояния и аппроксимации волновой функции системы многих тел. Читать дальше →

Как превратить спутниковые снимки в карты. Компьютерное зрение в Яндексе Один из главных источников данных для сервиса Яндекс.Карты — спутниковые снимки. Чтобы с картой было удобно работать, на снимках многоугольниками размечаются объекты: леса, водоёмы, улицы, дома и т. п. Обычно разметкой занимаются специалисты-картографы. Мы решили помочь им и...

Технические отличия BI систем (Power BI, Qlik Sense, Tableau) Время необходимое на прочтение 11 минут Мы и Квадрат Гартнера 2019 BI :-) Целью данной статьи является сравнение трёх ведущих BI платформ, которые находятся в лидерах квадранта Gartner: — Power BI (Microsoft) — Tableau — Qlik Рисунок 1. Gartner BI Magic Quadrant 2019 М...

Как нейронная сеть SincNet выделяет значимые частоты в звуке через Back Propagation Недавно вышла одна очень интересная статья "Speaker Recognition from raw waveform with SincNet", в которой была описана end-to-end архитектура нейронной сети для распознавания говорящего по голосу. Ключевая особенность этой архитектуры — специальные одномерные сверточные сло...

Нечувствительные к весам нейронные сети (WANN) Новая работа Google предлагает архитектуру нейронных сетей, способных имитировать врожденные инстинкты и рефлексы живых существ, с последующим дообучением в течении жизни. А также значительно уменьшающую количество связей внутри сети, повышая тем самым их быстродействие. Чи...

Нейронные сети предпочитают текстуры и как с этим бороться В последнее время вышло несколько статей с критикой ImageNet, пожалуй самого известного набора изображений, использующегося для обучения нейронных сетей. В первой статье Approximating CNNs with bag-of-local features models works surprisingly well on ImageNet авторы берут м...

Крупные распределенные системы ИИ-обучения создают Supermicro и Intel Компания Super Micro Computer, Inc. (SMCI), мировой лидер в сфере корпоративных вычислительных, сетевых решений, хранилищ данных, экологически безопасной обработки данных, совместно с Intel разрабатывает ИИ-решения, прошедшие верификационные испытания с использован...

Автоматическая сегментация дыхательных органов Ручная сегментация легких занимает около 10 минут и требуется определенная сноровка, чтобы получить такой же качественный результат, как при автоматической сегментации. Автоматическая сегментация занимает около 15 секунд. Я предполагал, что без нейронной сети удастся получит...

Использование кастомных функций потери и метрики качества обучения в Keras При обучении нейронной сети на обучающей выборке на выходе нейросети вычисляются два ключевых параметра эффективности обучения — ошибка и точность предсказания. Для этого используются функция потери (loss) и метрика точности. Эти метрики различаются в зависимости от поставле...

[Из песочницы] Пишем простую нейронную сеть с использованием математики и Numpy Зачем очередная статья про то, как писать нейронные сети с нуля? Увы, я не смог найти статьи, где были бы описаны теория и код с нуля до полностью работающей модели. Сразу предупреждаю, что тут будет много математики. Я предполагаю, что читатель знаком с основами линейной а...

[Из песочницы] Знакомство с простейшей нейронной сетью и ее пошаговая реализация Как-то раз я наткнулся на книгу под названием «Создай свою нейросеть», автор которой -Тарик Рашид и после прочтения остался доволен, в отличие от многих других методичек по нейронным сетям, которые по-своему, несомненно, хороши, в этой книге все подавалось простым языком c д...

Нейросеть DeepMind использует StarCraft II, чтобы обучать ... Поиск новых способов обучения нейронных сетей становится все более важным, особенно в такой сфере, как беспилотный транспорт. Разработчики придумали несколько изобретательных способов ускорения обучения нейросетей, и один из них напрямую связан с популярной игрой StarCraft I...

Рост в опоре на Open Source «Ростелеком» и Arenadata.io поделились опытом использования открытого ПО распределенной обработки и анализа данных в корпоративной среде. «Ростелеком», все больше переориентируясь с традиционного на цифровой бизнес, активно ведет исследования в области...

Как не запутаться в нейросетях? Инструменты для работы На что способны алгоритмы машинного обучения, мы уже выяснили, что им не под силу – в общих чертах разобрались. В этой статье журналист Теплицы Юлия Каленкова расскажет об инструментах работы с этими алгоритмами. Для машинного обучения действует очевидное правило: сложнее да...

Автоматизация ответов на часто задаваемые вопросы в навыке для «Алисы» с помощью библиотеки DeepPavlov Лаборатория нейронных систем и глубокого обучения МФТИ вот уже больше года делает DeepPavlov — открытую библиотеку для создания диалоговых систем. Она содержит набор претренированных компонент для анализа языка, с помощью которых можно эффективно решать задачи бизнеса. Напр...

Ускоряем распределенную обработку больших графов с помощью вероятностных структур данных и не только Одним из самых ценных ресурсов любой социальной сети является "граф дружб" — именно по связям в этом графе распространяется информация, к пользователям поступает интересный контент, а к авторам контента конструктивный фидбэк. При этом граф является еще и важным источником и...

[Из песочницы] Понимание сверточных нейронных сетей через визуализации в PyTorch В нашу эру, машины успешно достигли 99% точности в понимании и определении признаков и объектов на изображениях. Мы сталкиваемся с этим повседневно, например: распознавание лиц в камере смартфонов, возможность поиска фотографий в google, сканирование текста со штрих-кода или...

DeepPavlov для разработчиков: #1 инструменты NLP и создания чат-ботов Всем привет! Мы открываем цикл статей, посвященных решению практических задач, связанных с обработкой естественного языка (Natural Language Processing или просто NLP) и созданием диалоговых агентов (чат-ботов) с помощью open-source библиотеки DeepPavlov, которую разрабатывае...

SQL. Занимательные задачки Здравствуй Хабр! Вот уже более 3ех лет я преподаю SQL в разных тренинг цетрах и одним из моих наблюдений является то что студенты осваивают и понимают SQL лучше если ставить перед ними задачу, а не просто рассказывать о возможностях и теоритических основах. В этой статье я...

Самый мягкий и пушистый путь в Machine Learning и Deep Neural Networks Современное машинное обучение позволяет делать невероятные вещи. Нейросети работают на пользу общества: находят преступников, распознают угрозы, помогают диагностировать болезни и принимать сложные решения. Алгоритмы могут переплюнуть человека и в творчестве: они рисуют карт...

Samsung улучшит ИИ-возможности мобильных процессоров Компания Samsung Electronics объявила о намерении улучшить возможности своих нейронных модулей (NPU), предназначенных для выполнения операций, связанных с искусственным интеллектом (ИИ). Блок NPU уже применяется во флагманском мобильном процессоре Samsung Exynos 9 Series 982...

[recovery mode] Кластерная память с аппроксимацией Разработана память с нелинейной аппроксимацией внутри кластеров данных. Кластеры предлагается выделять методом k-средних. Аппроксимацию проводить с помощью обучения ансамбля нейронных сетей. Кластерная память протестирована на примере адаптивного фильтра для преобразования ...

Toshiba интегрирует в автомобильную однокристальную систему для распознавания изображений ускоритель нейронной сети Системы помощи водителю постепенно наделяются все более сложными функциями, для реализации которых необходимо быстрое распознавание изображений, позволяющее в процессе движения анализировать дорожные знаки и возникающие ситуации. Компания Toshiba сообщила о разработке ...

Как нейронные сети графике помогали В 1943 году американские нейропсихологи Мак-Каллок и Питтс разработали компьютерную модель нейронной сети, а в 1958 первая работающая однослойная сеть распознавала некоторые буквы. Сейчас же нейросети для чего только не используются: для прогнозирования курса валют, диагност...

[Перевод] Настройка кластера HA Kubernetes на «голом железе» с GlusterFS & MetalLB. Часть 2/3 Часть 1/3 тут Привет и с возвращением! Это вторая часть статьи о настройке кластера Kubernetes на «голом железе». Ранее мы настраивали НА-кластер Kubernetes с помощью внешнего etcd, схемы «ведущий-ведущий» и балансировки нагрузки. Ну а теперь пришло время настроить дополнит...

Все свое: туториал по созданию новых действий для UiPath RPA Данная статья – обучающий материал, который позволяет по шагам пройтись по процессу создания и публикации нового компонента для платформы UiPath RPA. Это удобно в разных случаях, например, для простой интеграции с системами компании или в ситуациях, когда компания хочет помо...

[Перевод] Фотографии из грубых набросков: как именно работает нейросеть NVIDIA GauGAN В прошлом месяце на NVIDIA GTC 2019 компания NVIDIA представила новое приложение, которое превращает нарисованные пользователем простые цветные шарики в великолепные фотореалистичные изображения. Приложение построено на технологии генеративно-состязательных сетей (GAN), в ...

Pentaho Data Integration (PDI), Python и глубокое обучение Привет, Хабр! Представляю вашему вниманию перевод статьи «Pentaho Data Integration (PDI), Python and Deep Learning». Глубокое Обучение (DL) — почему вокруг него столько шума? По данным Zion Market Research, рынок глубокого обучения (DL) увеличится с 2,3 млрд долларов в 201...

Нейросети способны «реанимировать» старые игры. Результат поразителен Все большую популярность среди геймеров приобретает технология ESRGAN (Enhanced Super Resolution Generative Adversarial Networks). Последняя представляет собой нейросеть, с помощью которой реализуются технологии масштабирования изображений с 2-8-кратным увеличением качества...

Представлена «умная» система управления энергетикой Разработка предназначена для создания распределенных и масштабируемых систем. Все программные компоненты могут быть разнесены на разные компьютеры, связанные единой сетью. "КОТМИ-Росэл" не имеет ограничений по количеству пользователей, размеру базы данных и числу п...

Intel представляет свои первые чипы для ИИ в облаке Intel приставила два новых процессора нейронных сетей Nervana: NNP-T1000 и NNP-I1000. Новинки являются первыми интегральными схемами Intel, разработанными специально для ИИ в облаке. Чип NNT-T предназначен для обучения ИИ по «сбалансированному» дизайну, который может масштаб...

Система удаленного файлового доступа Cage Назначение системы Поддержка удаленного доступа к файлам на компьютерах в сети. Система «виртуально» поддерживает все основные файловые операции (создание, удаление, чтение, запись и др.) путём обмена транзакциями (сообщениями) по протоколу ТСР. Области применения Функционал...

Где летом поговорить про Apache Ignite и распределенные системы 14 июня в Петербурге пройдет митап Apache Ignite Meetup: реальные кейсы. Послушаем парней, у которых получилось. Первый кейс — IMDG для расчета маржинальности торговых контрактов в Heineken. Второй — промышленная платформа Газпромнефти. Почему open source и Ignite? Куда прик...

Разговорный BERT — учим нейросеть языку соцсетей Одним из главных событий в области компьютерной лингвистики и машинного обучения в 2018 году был выпуск BERT от Google AI, который признан лучшим докладом года по мнению североамериканского отделения Ассоциации компьютерной лингвистики (NACL). В этой статье мы расскажем об э...

[Перевод] Распределенная трассировка в Istio Примечание от нашей редакции переводов: в представляемой статье описывается закрытый продукт конкретной компании и, к сожалению, пока нет никаких данных о том, что его когда-либо планируют открывать — в столлмановском понимании этого слова. Тем не менее, нам показалось оче...

LG разработала чип искусственного интеллекта на базе Neural Engine Чип искусственного интеллекта позволяет имитировать нейронную сеть человеческого мозга и значительно улучшает обработку алгоритмов глубокого обучения. Новый AI-процессор предназначен для использования в различных продуктах, включая роботы-пылесосы, стиральные машины и холоди...

Особенности тестирования веб-приложения для видеосервиса Услуги потокового вещания по запросу (VOD) стали неотъемлемой частью нашей повседневной жизни. Video on Demand — это система доставки видеоконтента, которая позволяет зрителям выбирать контент (видео) и просматривать его в удобное время (по запросу) на любом устройстве, пр...

Распределенное логирование и трассировка для микросервисов Логирование — важная часть любого приложения. Любая система логирования проходит три основных шага эволюции. Первый — вывод на консоль, второй — запись логов в файл и появление фреймворка для структурированного логирования, и третий — распределенное логирование или сбор лого...

[Перевод] Работаем с нейросетями: чек-лист для отладки Код программных продуктов для машинного обучения часто бывает сложным и довольно запутанным. Обнаружение и ликвидация багов в нем — ресурсоемкая задача. Даже простейшие нейросети с прямой связью требуют серьезного подхода к сетевой архитектуре, инициализации весов, оптими...

Больше чем Ceph: блочное хранилище облака MCS «Flying Cart», Afu Chan Я работаю в Mail.ru Cloud Solutons архитектором и разработчиком, в том числе занимаюсь нашим облаком. Известно, что распределенной облачной инфраструктуре нужно производительное блочное хранилище, от которого зависит работа PaaS-сервисов и решений, п...

Реализация моделей seq2seq в Tensorflow Порождение данных с помощью рекурентной нейронной сети становится все более популярным методом и находит свое применение во многих областях компьютерной науки. С начала рождения концепции seq2seq в 2014 году прошло всего пять лет, но мир увидел множество применений, начиная ...

Подножка для мозга: платформа распределенного реестра Hedera Hashgraph Алгоритм консенсуса, асинхронная толерантность к необъяснимым ошибкам, ориентированный ациклический граф, распределенный реестр — о том, что объединяет эти понятия, и как не вывихнуть себе мозг — в статье о Hedera Hashgraph. Читать дальше →

[Из песочницы] Только не говорите, что вы таким не были или мой взгляд на обучение Всем привет. Я хотел бы рассказать свое мнение по поводу современного обучения программированию. В статье речь пойдет про PHP, немного про фреймворки и немного про велосипеды. Но я думаю, что к любому языку программирования это применимо. Начнем. Помните свой первый код на P...

Нейросеть Facebook позволила управлять движениями людей, снятых на видео Нейронные сети уже умеют создавать лица несуществующих людей и даже улучшать качество видео. Технология продолжает развиваться, причем крайне стремительно — это казалось невозможным, но отныне снятыми на видео людьми можно управлять при помощи клавиатуры компьютера. Это ста...

Ищем пневмонию на рентгеновских снимках с Fast.ai Наткнулся на статью в блоге компании Школа Данных и решил проверить, на что способна библиотека Fast.ai на том же датасете, который упоминается в статье. Здесь вы не найдете рассуждений о том, как важно своевременно и правильно диагностировать пневмонию, будут ли нужны врачи...

Шпаргалка для искусственного интеллекта — выбрось лишнее, учи главному. Техника обработки обучающих последовательностей Это вторая статья по анализу и изучению материалов соревнования по поиску корабликов на море. Но сейчас будем изучать свойства обучающих последовательностей. Попробуем найти в исходных данных лишнюю информацию, избыточность и её удалить. Статья эта тоже есть просто резуль...

Нейросеть поможет найти пропавших людей Новая технология позволяет волонтерам "Лиза Алерт" в 2,5 раза сократить время на просмотр и сортировку полученных снимков. В дальнейшем технология будет совершенствоваться и адаптироваться к специфике поиска пропавших людей. С 2018 года отряд начал применять беспи...

Первый взгляд на FoundationDB, открытую Apple В прошлой статье мы рассматривали ограничения и препятствия, которые возникают, когда нужно горизонтально масштабировать данные и иметь гарантию ACID-свойств транзакций. В этой статье рассказываем о технологии FoundationDB и разбираемся, как она помогает преодолеть эти огран...

Разработчики AnTuTu выпустили приложение AI Review для тестирования возможностей ИИ у мобильных платформ На сегодняшний день многие топовые однокристальные системы для смартфонов в той или иной форме поддерживают вычисления, связанные с искусственным интеллектом. У некоторых SoC есть выделенные модули NPU, а, к примеру, у платформ Qualcomm этими задачами занимаются сразу н...

[Из песочницы] Способы сегментации точек в Point Clouds Введение Некоторое время назад мне потребовалось решить задачу сегментации точек в Point Cloud (облака точек — данные, полученные с лидаров). Пример данных и решаемой задачи: Поиски общего обзора существующих методов оказались неуспешными, поэтому пришлось собирать информац...

Школьники запрограммируют нейронную сеть Нейросети уже пишут картины и сочиняют стихи, они стали творческими и самообучаемыми. Сложно ли их проектировать? Это предстоит выяснить школьникам в Калининграде. Участники смогут создать и обучить нейронную сеть, а также научиться управлять роботизированным устройством...

Автоматическое определение эмоций в текстовых беседах с использованием нейронных сетей Одна из основных задач диалоговых систем состоит не только в предоставлении нужной пользователю информации, но и в генерации как можно более человеческих ответов. А распознание эмоций собеседника – уже не просто крутая фича, это жизненная необходимость. В этой статье мы рас...

Собаку съел на нейронных сетях Вот видишь ты на улице пёсика. Ты всегда видишь на улице пёсиков. Вот кто-то вообще их не замечает и не имеет хлопот, вот нет этих душевных терзаний, и вообще можно считать, что им на улице норм. Но ты же! И заметил, и глаза у тебя на мокром месте, такой думаешь: «пёсик. уаа...

Computer Vision Summer Сamp – летняя школа Intel по компьютерному зрению С 3 по 16 июля на базе ННГУ им. Н.И. Лобачевского проходила Межвузовская Летняя школа Intel по компьютерному зрению — Computer Vision Summer Camp, в которой приняло участие более 100 студентов. Школа была направлена на студентов технических специальностей нижегородских вуз...

Как начать работать с обучением нейросетей Без машинного обучения не сможет работать ни одна нейросеть Еще несколько лет назад нейросети считались чем-то диковинным. Сейчас же данный инструмент осваивает все больше людей. Причем эта отрасль развивается невероятными темпами: совсем недавно нейросети учились рисовать к...

Наличие NPU скоро станет фактическим стандартом для мобильных SoC Нейронные процессоры (NPU) все чаще включаются разработчиками в конфигурацию однокристальных систем для мобильных устройств. Путем интеграции NPU пошли HiSilicon, Qualcomm и MediaTek. Наличие NPU позволяет ускорить работу приложений, в которых используются алгоритмы иск...

Для Российской академии наук создан модульный суперкомпьютер Разработка Ростеха предназначена для решения задач молекулярной динамики: создания цифровых моделей веществ и прогнозирования поведения материалов в экстремальных состояниях.Проект реализован специалистами Научно-исследовательского центра электронной вычислительной техники (...

Строительные блоки распределенных приложений. Второе приближение Анонс Коллеги, в середине лета я планирую выпустить еще один цикл статей по проектированию систем массового обслуживания: “Эксперимент VTrade” — попытка написать фреймворк для торговых систем. В цикле будет разобрана теория и практика построения биржи, аукциона и магазина. В...

DeepPavlov для разработчиков: #2 настройка и деплоймент Всем привет! В первой статье из нашего цикла мы узнали, что такое DeepPavlov, какие модели библиотеки готовы к использованию без предварительного обучения и как запустить REST серверы с ними. Перед тем, как приступить к обучению моделей, мы расскажем о различных возможностях...

Система управления конфигурацией сети фильтрации TL;DR: Описание клиент-серверной архитектуры нашей внутренней системы управления конфигурацией сети, QControl. В основе лежит двухуровневый транспортный протокол, работающий с упакованными в gzip сообщениями без декомпрессии между эндпойнтами. Распределенные роутеры и эндп...

Лопнул ли пузырь машинного обучения, или начало новой зари Недавно вышла статья которая неплохо показывает тенденцию в машинном обучении последних лет. Если коротко: число стартапов в области машинного обучения в последние два года резко упало. Ну что. Разберём “лопнул ли пузырь”, “как дальше жить” и поговорим откуда вообще такая з...

Книга «Elasticsearch, Kibana, Logstash и поисковые системы нового поколения» Привет, Хаброжители! Мы издали книгу по Elastic Stack, предназначенную для специалистов, работающих с большими объемами данных и желающих надежно извлекать их из любого источника в любом формате, а также искать, анализировать и визуализировать данные в режиме реального врем...

[Перевод] Стоит ли высокое качество ПО затрат на его разработку? Часто в процессе реализации проектов команды сталкиваются с вопросом: чему следует уделять больше внимания – выпуску новых фич или повышению качества кода? Обычно менеджеры делают выбор в пользу фич. Зачастую разработчики таким положением дел недовольны, считая, что им выде...

Сотрудник Netflix создал нейросеть для поиска поцелуев в фильмах Компьютерное зрение практически идеально распознает объекты на статичных изображениях, и на данный момент проблемы в основном возникают только с видеороликами. Тем не менее разработчики продолжают создавать нейронные сети для распознавания разнообразных действий на видео, и...

Вия, Уая, Вая, Вайя – “трудности перевода”, или что скрывается за новой платформой SAS Viya (Вайя)    В сети можно найти огромное количество разнообразных статей о методах использования алгоритмов математической статистики, о нейронных сетях и в целом о пользе машинного обучения. Данные направления способствуют существенному улучшению жизни человека и светлому будущем...

Архитектура и возможности Tarantool Data Grid В 2017 году мы выиграли конкурс на разработку транзакционного ядра инвестиционного бизнеса Альфа-Банка и приступили к работе (на HighLoad++ 2018 с докладом о ядре инвестиционного бизнеса выступал Владимир Дрынкин, руководитель направления транзакционного ядра инвестиционно...

Беспроводной модуль связи с объектом WISE-4000 Можно ли без навыков программирования развернуть систему сбора данных промышленного уровня? В статье мы познакомимся с устройствами, которые позволяют в несколько кликов получить готовую систему обработки цифровых сигналов, доступных через JSON API. Серия WISE-4000 — это ...

Xender 4.3.2 Xender — программа для скоростного обмена файлов не использующее Bluetooth, сети Wi-fi и 3G. Программа работает и без наличие карты сим.Скорость передачи  более 6 мб/с.Также есть возможность обмены файлами с ПК при условии того что оба должны быть подключены к одной и той же...

[Перевод] Предложения относительно уязвимостей и защиты моделей машинного обучения В последнее время эксперты все чаще затрагивают вопрос безопасности моделей машинного обучения и предлагают различные способы защиты. Самое время детально изучить потенциальные уязвимости и средства защиты в контексте популярных традиционных систем моделирования, таких как...

Предсказания от математиков. Разбираем основные методы обнаружения аномалий За рубежом все большую популярность набирает использование искусственного интеллекта в промышленности для предиктивного обслуживания (predictive maintenance) различных систем. Цель этой методики — определение неполадок в работе системы на этапе эксплуатации до выхода её из с...

Intel работает над оптическими чипами для более эффективного ИИ Фотонные интегральные схемы или оптические чипы потенциально обладают множеством преимуществ по сравнению с электронными аналогами, такими как снижение энергопотребления и уменьшение задержки в вычислениях. Вот почему множество исследователей считают, что они могут оказаться...

Разработан первый суперкомпьютер на базе процессоров «Эльбрус» Как было объявлено в рамках IV конференции "Цифровая индустрия промышленной России", суперкомпьютерное решение состоит из стоек, содержащих компактные четырехпроцессорные блейд-серверы с жидкостным охлаждением. Такой способ теплоотведения позволил снизить габариты...

Архитектура хранилищ данных: традиционная и облачная Привет, Хабр! На тему архитектуры хранилищ данных написано немало, но так лаконично и емко как в статье, на которую я случайно натолкнулся, еще не встречал. Предлагаю и вам познакомиться с данной статьей в моем переводе. Комментарии и дополнения только приветствуются! (И...

Как упростить исследование БД Oracle: «джентльменский набор» скриптов Добрый день! Мы команда системных аналитиков одного из подразделений управления данными «Ростелекома». В нашей компании насчитывается более 300 неоднородных источников данных — такое многообразие необходимо для поддержки работы Ростелекома по всем многочисленным направлениям...

[Перевод] Машинное обучение агентов в Unity Эта статья об агентах машинного обучения в Unity написана Майклом Лэнхемом — техническим новатором, активным разработчиком под Unity, консультантом, менеджером и автором многих игр на движке Unity, графических проектов и книг. Разработчики Unity внедрили поддержку машинног...

Бредогенератор: создаем тексты на любом языке с помощью нейронной сети Привет Хабр. Эта статья будет в немного «пятничном» формате, сегодня мы займемся NLP. Не тем NLP, про который продают книжки в подземных переходах, а тем, который Natural Language Processing — обработка естественных языков. В качестве примера такой обработки будет использов...

iPhone 11 получит продвинутую технологию для работы с видео Камера iPhone 11 порадует передовыми опциями Меньше двух недель остаётся до презентации iPhone, а мы знаем о новинках почти всё. Утекли не только спецификации, но и будущий дизайн смартфонов. А это значит, что iPhone 11 не станет для поклонников Apple откровением — тем...

Создаем с нуля собственную нейронную сеть на Python Всем привет! На повестке дня интересная тема — будем создавать с нуля собственную нейронную сеть на Python. В ее основе обойдемся без сложных библиотек (TensorFlow и Keras). Перед тем как углубиться, рекомендую освежить знания по искусственным нейронным сетям и подписат...

Continuous Monitoring – автоматизация проверок качества ПО в CI/CD Pipeline Сейчас на хайпе тема DevOps. Конвейер непрерывной интеграции и доставки CI/CD внедряют все, кому не лень. Но большинство не всегда уделяют должное внимание обеспечению надежности работы информационных систем на различных этапах CI/CD Pipeline. В данной статье я хотел бы пого...

Redmi отказалась от услуг Qualcomm при создании своего первого 5G-смартфона Компания Xiaomi уже выпустила парочку 5G-смартфонов, включая Xiaomi Mi Mix 3 5G и Xiaomi Mi 9 Pro 5G, но подразделение Redmi пока что только сообщило о своих планах по выпуску первого 5G-смартфона. До этого момента не было известно, на базе какой однкористальной системы...

Veritas Technologies провела в Москве Vision Solution Day Лейтмотивом мероприятия стало представление платформы Enterprise Data Services. Компания Veritas Technologies провела 12 ноября в Москве форум Vision Solution Day. Это одно из почти двух десятков мероприятий, которые Veritas организует в течение года в различных странах. ...

[Из песочницы] Почему Swift может стать большим событием в глубинном обучении Здравствуй, Хабр! Представляю вашему вниманию перевод заинтересовавшей меня статьи «Why Swift May Be the Next Big Thing in Deep Learning» автора Max Pechyonkin, в которой автор рассуждает о языке на котором будет осуществляться глубокое обучение в ближайшие годы. Читать дал...

Форум «Управление данными — 2019» пройдёт 24 сентября в Москве 24 сентября 2019 года издательство «Открытые системы» проведет в Москве форум «Управление данными — 2019». Читателям портала предоставляется скидка 15% на участие по промокоду realITSM. Регистрация Форум пройдет под девизом «Предприятие, основанное на данных: стратегии, арх...

Сравнение архитектур Viper и MVVM: Как применить ту и другую В настоящее время VIPER и MVVM являются наиболее популярными архитектурными решениями, применяемыми при разработке крупных приложений, требующих участия в разработке больших команд, являющихся хорошо тестируемыми, длительно проддерживаемыми и постоянно развивающимися. В да...

Если у Вас нет Питона, но есть Керас-модель и Джава Всем привет! В построении ML-моделей Python сегодня занимает лидирующее положение и пользуется широкой популярностью сообщества Data Science специалистов [1]. Также, как и большинство разработчиков, Python привлекает нас своей простотой и лаконичным синтаксисом. Мы использу...

Коммутаторы InfiniBand Mellanox HDR 200G с технологией Mellanox SHARP удвоили производительность платформы Nvidia для ИИ Компания Mellanox Technologies, которую Nvidia покупает за 6,9 млрд долларов, объявила, что ее коммутаторы InfiniBand HDR 200G с технологией «масштабируемого протокола иерархического агрегирования и сокращения» (Scalable Hierarchical Aggregation and Reductio...

«Управление данными 2019»: узкие места больших данных и как их обойти Руководитель бизнес-направления Big Data Solutions компании «Неофлекс» о том, что позволит уменьшить стоимость и упростить современные проекты больших данных. В России пока не так много предприятий, которые имеют достаточный опыт в реализации проектов больших данных, поэ...

Распознавание азбуки Морзе с помощью нейронной сети Привет Хабр. В процессе изучения нейронных сетей возникла мысль, как бы применить их для чего-то практически интересного, и не столь заезженного и тривиального, как готовые датасеты от MNIST. Например, почему бы не распознавать азбуку Морзе. Сказано, сделано. Для тех ком...

Мы два года развивали свою систему мониторинга. Кликай, чтобы… Всем привет! Я уже рассказывал в этом блоге об организации модульной системы мониторинга для микросервичной архитектуры и о переходе с Graphite+Whisper на Graphite+ClickHouse для хранения метрик в условиях высоких нагрузок. После чего мой коллега Сергей Носков писал о самом ...

[Перевод] Не только обработка: Как мы сделали из Kafka Streams распределенную базу данных, и что из этого вышло Привет, Хабр! Напоминаем, что вслед за книгой о Kafka мы выпустили не менее интересный труд о библиотеке Kafka Streams API. Пока сообщество только постигает границы возможностей этого мощного инструмента. Так, недавно вышла статья, с переводом которой мы хотим вас позна...

Гарантированная передача данных в экстремальных условиях Технология обеспечивает высокую вероятность доставки сообщений за счет возможности промежуточного хранения сообщений в узлах до тех пор, пока не активизируется нужный канал. При этом архитектура сети, устойчивая к задержкам, может использовать любые доступные сетевые ресурсы...

3. Дизайн сети предприятия на коммутаторах Extreme Добрый день, друзья! Сегодня я продолжу цикл, посвященный коммутаторам Extreme статьей по проектированию сети Enterprise. В статье я постараюсь по возможности кратко: описать модульный подход к проектированию сети Etnterprise рассмотреть виды построения одного из важне...

Книга «Современный язык Java. Лямбда-выражения, потоки и функциональное программирование» Привет, Хаброжители! Преимущество современных приложений — в передовых решениях, включающих микросервисы, реактивные архитектуры и потоковую обработку данных. Лямбда-выражения, потоки данных и долгожданная система модулей платформы Java значительно упрощают их реализацию. ...

[Перевод] Что есть и чего нет в Go. Часть 2 Всем привет! Cегодня делимся заключительной частью перевода статьи «Что есть и чего нет в Go». Напоминаем, в первой части речь шла о элементах, которые есть в Go, сегодня же поговорим о том, чего в Go нет. Перевод данного материала подготовлен в преддверии старта нового пот...

General Motors показала новую архитектуру электроники для будущих автономных электромобилей Сегодня уже ни у кого не осталось сомнений в том, что наше будущее будет связано с самоуправляемыми электромобилями, тесно запутанными в сетях внешнего мира. Но чтобы автомобили успевали за стремительным ритмом цифровой жизни, им нужно передавать через эти сети огромный объ...

[Перевод] Что такое коэффициент скорости обучения и как он улучшает характеристики глубокого обучения? Данная статья представляет собой мою попытку выразить свой взгляд на следующие аспекты: Что такое коэффициент скорости обучения и каково его значение? Как подбирать данный коэффициент при обучении моделей? Почему необходимо менять коэффициент скорости обучения в процесс...

Как работает искусственный интеллект В последнее время мы все больше слышим об искусственном интеллекте. Он применяется практически везде: от сферы высоких технологий и сложных математических вычислений до медицины, автомобилестроения и даже при работе смартфонов. Технологии, лежащие в основе работы ИИ в совре...

Напиши свою песню за 10 минут (модуль textgenrnn Python3) Сегодня попробуем обучить свою собственную нейронную сеть, чтобы писала текст для песен. Обучающей выборкой будут тексты группы "Руки Вверх". Ничто не мешает чтобы поменять данные на тексты своих любимых групп. Для извлечения данных с веб-сайтов используем Python3 (модуль B...

Новый алгоритм в 200 раз ускоряет автоматическое проектирование нейросетей ProxylessNAS напрямую оптимизирует архитектуры нейронных сетей для конкретной задачи и оборудования, что позволяет значительно увеличить производительность по сравнению с предыдущими прокси-подходами. На наборе данных ImageNet нейросеть проектируется за 200 GPU-часов (в 20...

Детальный обзор 3CX v16 В этой статье мы сделаем детальный обзор возможностей 3CX v16. Новая версия АТС предлагает различные улучшения качества обслуживания клиентов и повышение производительности труда сотрудников. В тоже время заметно облегчена работа системного инженера, обслуживающего систему. ...

Yota реализовала кэширование данных на платформе Tarantool Для работы целого ряда существующих и планируемых IT решений Yota необходимы данные из множества источников: о наборе подключенных продуктов, балансе и т.д.. При последовательном запросе и поступлении данных быстродействие приложений напрямую зависит от источников, и низкая ...

«Если компания скидывает на Data Scientist петабайты данных в надежде на чудо, то, скорее всего, чуда не случится» Работа с данными – одно из самых приоритетных направлений у большинства зарубежных и российских компаний. Это также подтвердило недавнее исследование IDC и Hitachi Vantara. Но для принятия взвешенных решений и разработки стратегии на основе данных нужен специалист, котор...

[Перевод] Как написать смарт-контракт на Python в сети Ontology. Часть 2: Storage API Это вторая часть из серии обучающих статей о создании смарт-контрактов на Python в блокчейн сети Ontology. В предыдущей статье мы познакомились с Blockchain & Block API смарт-контракта Ontology. Сегодня мы обсудим, как использовать второй модуль— Storage API. Storage API...

Как мы в ЦИАН укрощали терабайты логов Всем привет, меня зовут Александр, я работаю в ЦИАН инженером и занимаюсь системным администрированием и автоматизацией инфраструктурных процессов. В комментариях к одной из прошлых статей нас попросили рассказать, откуда мы берем 4 ТБ логов в день и что с ними делаем. Да,...

Представлен передовой 8-нм чип Exynos 980 со встроенным ... Сегодня Samsung представила свой передовой мобильный процессор Exynos 980, ставший первым чипом компании с интегрированным 5G-модемом. Решение со встроенным модулем связи с поддержкой сетей пятого поколения позволяет эффективнее использовать внутреннее пространство и обеспеч...

[Из песочницы] Как было устроено хранилище DWH в TELE2 Здравствуйте, дорогие друзья. Сегодня хочу поделиться историей из жизни, как было устроено хранилище DWH в Tele2 до внедрения КХД (EDW). А в следующих статьях рассказать, как внедрялись ETL-инструменты, EDW и BI решения в Tele2. Поступил я в ИТ подразделение Tele2 в 2012 в о...

Цифровые технологии в управлении жизненного цикла двигателей Игорь Лучанский, начальник управления информационных систем и технологий "Протон-ПМ": "Наше предприятие постоянно совершенствует производственные процессы, проводит масштабную модернизацию и техническое перевооружение. Это требует оперативности на всех этапах ...

#видео | Как «умирают» искусственные нейронные сети Вы видели, как погибает искусственная нейронная сеть? Довольно странное зрелище. Энтузиаст, называющая себя «девушкой, играющей с ИИ», поделилась с изданием Vice видео с результатом своего проекта под названием «Что я увидела перед тьмой». Программистка создала нейронную се...

Кластер системы видеоконференцсвязи на базе Yealink Meeting Server Эта статья является продолжением цикла публикаций, посвященного комплексному решению ВКС Yealink Meeting Server (YMS). В прошлой статье Yealink Meeting Server 2.0 — новые возможности видеоконференцсвязи мы описали существенный прорыв в функционале решения: добавился собст...

Scala + MXNet = Микросервис с нейронкой в проде В интернете есть огромное количество руководств и примеров, на основе которых вы, дорогие читатели, сможете «без особого труда» и с «минимальными» временными затратами написать код, способный на фото отличать кошечек от собачек. И зачем тогда тратить время на эту статью? О...

[Перевод] Знакомство с HealthKit В этой статье про HealthKit вы узнаете, как запрашивать разрешение на доступ к данным HealthKit, а также считывать и записывать данные в центральный репозиторий HealthKit. В статье используется Swift 4, iOS 11, Xcode 9 версии. HealthKit — это API, которое было представлено...

Нейросетевой синтез речи с помощью архитектуры Tacotron 2, или «Get alignment or die tryin'» Нашей команде поставили задачу: повторить результаты работы искусственной нейронной сети синтеза речи Tacotron2 авторства DeepMind. Это рассказ о тернистом пути, пройденном нами в ходе реализации проекта. Читать дальше →

Погружение в свёрточные нейронные сети: передача обучения (transfer learning) Полный курс на русском языке можно найти по этой ссылке. Оригинальный курс на английском доступен по этой ссылке. Читать дальше →

Безвентиляторные производительные компьютеры MIC-7000 Компьютеры серии MIC-7000 — это компактные и одновременно высокопроизводительные промышленные компьютеры с полностью пассивным охлаждением, при этом оснащенные полноценными процессорами Intel восьмого поколения и современными чипсетами. Отличительной чертой компьютеров MIC-...

Нейросеть услышала голоса людей и нарисовала их портреты В последнее время нейронные сети удивляют своими умениями — могли бы вы десять лет назад поверить в то, что компьютер сможет «оживлять» портреты Достоевского и Мэрилин Монро? Готовьтесь удивляться дальше, потому что исследователи из Массачусетского технологического институт...

Компания Nvidia представила масштабируемый суперкомпьютер с GPU-ускорением в облаке Microsoft Azure Компания Nvidia сегодня анонсировала доступность в облаке Microsoft Azure нового типа суперкомпьютера, в котором используется ускорение средствами GPU. Уточним, что пока инстансы NDv2 доступны для предварительного просмотра, но их уже можно объединять в кластеры. По сло...

Samsung проектирует недорогой планшет на платформе Exynos Сетевые источники уже сообщали, что компания Samsung разрабатывает несколько новых планшетов на платформе Android. Информация об одном из них появилась в базе данных бенчмарка Geekbench. Устройство имеет кодовое обозначение SM-T515. В качестве «мозгового» центра указан фирме...

20 проектов, 20 языков, срок вчера. Часть 3 Заключительная статья об интеграции Serge+Smartcat. В этой статье я расскажу, как мы масштабируем Serge на всю компанию, рассмотрю 4 нестандартных интеграции и, в качестве бонуса, расскажу о 2 фичах которые могут упростить вам жизнь. Предыдущие статьи: 20 проектов, 20 язык...

Важной задачей считают анализ больших данных большинство российских компаний Компания IDC совместно с Hitachi Vantara подготовила исследование «Аналитика больших данных как инструмент бизнес-инноваций». Оно показало, что более 55% компаний имеют бюджет на внедрение решений по аналитике больших данных. Анализ больших данных становится важной з...

Хитрости в Machine Learning — работа с несколькими моделями в Keras Это моя первая статья по теме Машинное обучение. С недавнего времени я профессионально занимаюсь машинным обучением и компьютерным зрением. В этой и будущих статьях я буду делиться наблюдениями и решениями специфических проблем при использовании TensorFlow и Keras. В этой ст...

Книга «Kafka Streams в действии. Приложения и микросервисы для работы в реальном времени» Привет, Хаброжители! Эта книга подойдет для любого разработчика, который хочет разобраться в потоковой обработке. Понимание распределенного программирования поможет лучше изучить Kafka и Kafka Streams. Было бы неплохо знать и сам фреймворк Kafka, но это не обязательно: я ра...

Книга «Распределенные системы. Паттерны проектирования» Современный мир попросту немыслим без использования распределенных систем. Даже у простейшего мобильного приложения есть API, через который оно подключается к облачному хранилищу. Однако проектирование распределенных систем до сих пор остается искусством, а не точной наукой...

Tarantool запускает новый продукт – Tarantool Data Grid Команда системы управления базами данных Tarantool, собственного решения Mail.Ru Group, запустила продукт Tarantool Data Grid — готовое enterprise-решение для разработки распределенных бизнес-приложений, работающих с большими потоками данных, которое имеет удобные инструмент...

Natural Language Processing онлайн-чеков: курс уроков волшебства для обычного кота и другие проблемы Компания CleverDATA занимается разработкой платформы для работы с большими данными. В частности, на нашей платформе есть возможность работать с  информацией из чеков онлайн-покупок. Перед нами стояла задача научиться обрабатывать текстовые данные чеков и строить на них вывод...

[recovery mode] Интеграция Опенкарт с учетными системами Опенкарт — один из самых распространенных интернет-магазинов. Во многих случаях возникает задача интеграции со складской учетной системой (чаще всего с 1С). Интеграция предполагает, как минимум, передачу заказов с ИМ в складскую систему для их обработки и отправки товаров п...

Заканчивается регистрация на хакатон в Риге. Приз – краткосрочное обучение на Физтехе 15-16 ноября 2019 года на базе Латвийского университета (г. Рига) пройдет международный бизнес-хакатон Baltic Sea Digital Event. Хакатон ориентирован на использование следующих технологий: системы распределенного реестра, большие данные, беспроводная связь, промышленный ин...

Дайджест статей машинного обучения и искусственного интеллекта Хабр, привет. Отфильтровав большое количество статей, конференций и подписок — собрал для вас все наиболее значимые гайды, статьи и лайфхаки из мира машинного обучения и искусственного интеллекта. Всем приятного чтения! 1. Проекты искусственного интеллекта, с которыми можн...

Нейробиологи обучили нейросеть переводить сигналы мозга в членораздельную речь Используя технологию сканирования мозговой активности, искусственный интеллект и синтезатор речи ученые из Колумбийского университета (США) создали устройство, способное переводить мысли человека в членораздельную речь. Результаты исследования, опубликованные в журнале Scie...

Machine Learning для Vertica Аннотация В данной статье я хочу поделиться собственным опытом работы с машинным обучением в хранилище данных на Vertica. Скажем честно, я не являюсь аналитиком-экспертом, который сможет в деталях расписать все многообразие методик исследования и алгоритмов прогнозирования ...

[Перевод] Создаём нейронную сеть, предсказывающую рак груди за пять минут Привет. Создать такую нейронную сеть — просто. Минута первая: введение Этот высокоуровневый урок рассчитан на новичков в машинном обучении и искусственном интеллекте. Для того, чтобы успешно создать нейронную сеть, необходимо: Установленный Python; Как минимум начальный ...

Нормализация данных в распределенной БД, микросервисах и ERP Привет, Хабр! Эта маленькая заметка родилась в процессе обсуждения статьи «Распределенные монолиты...», а поскольку тема требует дальнейшего раздумья — я решил зафиксировать ее у себя в блоге. Автор статьи фактически описывает распределенную базу данных, доказывая, что един...

Делаем прототип бота для боев в Clash Royale У вас бывало, что вы залипаете в какую-то простенькую игру, думая, что с ней вполне бы мог справиться искусственный интеллект? У меня бывало, и я решил попробовать создать такого бота-игрока. Тем более, сейчас много инструментов для компьютерного зрения и машинного обучения,...

Своя видео-платформа или чем занять много вычислительных ресурсов. Part 1 На фото — первый летающий четырёхколёсный велосипед. Источник. Сегодня, благодаря доступности нужных сервисов, размещение видео в сети не является сложной задачей. Однако материалов по внутреннему устройству подобных систем не так уж и много, особенно в русскоязычном сегмен...

Новая операционная система HarmonyOS Компания HUAWEI представила первую мобильную OC с распределенной архитектурой –HarmonyOS.  Применение распределённой архитектуры позволяет HarmonyOS обеспечивать общую коммуникационную платформу, управлениераспределёнными данными, распределенное планирование зад...

Huawei представила конвергентное распределенное хранилище для дата-центров Huawei FusionStorage 8.0 позволяет системе хранения поддерживать блочные, файловые, объектные и HDFS-протоколы, а также протоколы баз данных.

[Из песочницы] Умный Дом — голосовое управление в три шага. Raspberry + HomeKit Уважаемые друзья! Мы решили поделиться с Вами бюджетным готовым решением, надеемся Вы оцените наши старания. Решение проверенное, рабочее. Во вложении можно скачать все файлы программ и настройки. Отдаем все бесплатно. Умный дом для заказчика в основном «игрушка» которым м...

DSC и напильник: часть 1. Настройка DSC Pull Server для работы с базой данных SQL PowerShell Desired State Configuration (DSC) сильно упрощает работу по развертыванию и конфигурированию операционной системы, ролей сервера и приложений, когда у вас сотни серверов. Но при использовании DSC on-premises, т.е. не в MS Azure, возникает пара нюансов. Они осо...

[Из песочницы] Исследуем утверждение центральной предельной теоремы с помощью экспоненциального распределения Вместо введения В статье описывается исследование, проведенное с целью проверки утверждения центральной предельной теоремы о том, что сумма N независимых и одинаково распределенных случайных величин, отобранных практически из любого распределения, имеет распределение, близко...

Хаки при работе с большим числом мелких файлов Идея статьи родилась спонтанно из дискуссии в комментариях к статье «Кое-что об inode». Дело в том, что внутренней спецификой работы наших сервисов является хранение огромадного числа мелких файлов. На данный момент у нас порядка сотен терабайт таких данных. И мы натолкну...

Российская SoC NM6408 НТЦ «Модуль» выходит в свет: 28 нм, 512 гигафлопс, 35 Вт В последней декаде февраля российский научно-технический центр «Модуль» стал участником ряда отраслевых выставок, прежде всего Еmbedded World 2019 и 12-й Международной авиакосмической выставки Aero India ― 2019. На каждом из этих мероприятий разработчик заключил определённые...

[Из песочницы] Прикладные технологии на руинах блокчейн-лихорадки или о практической пользе распределения ресурсов В последние годы новостные ленты наводнили сообщения о появляющихся буквально из ниоткуда распределенных вычислительных сетях нового типа, решающих (точнее, пытающихся решить) самые разнообразные задачи — сделать город умным, спасти мир от нарушителей авторских прав или наоб...

Новый курс Нетологии — Deep Learning: машинное обучение Курс Нетологии Deep Learning — это возможность научиться работать с многослойными нейронными сетями, компьютерным зрением и другими технологиями не на скучных лекциях, а создавая настоящие проекты с менторами. Курс для дата саентистов, инженеров данных и программистов. Чита...

Новейшие инновационные разработки на CPSE 2019 представила Hikvision Компания Hikvision, ведущий мировой провайдер инновационных продуктов и решений для систем охранного видеонаблюдения, представила свои новейшие инновационные разработки на выставке China Public Security Expo (CPSE) 2019, проходившей в Шэньчжэне с 28 по 31 октября. В этом...

[Перевод] Распознавание лиц с помощью сиамских сетей Сиамская нейросеть — один из простейших и наиболее популярных алгоритмов однократного обучения. Методики, при которой для каждого класса берётся лишь по одному учебному примеру. Таким образом, сиамская сеть обычно используется в приложениях, где в каждом классе есть не так...

Как Мефодий стал Анной: опыт разработки и запуска классификаторов голосовых сообщений. Часть 2 Цель и задача Напомню, что в рамках первой статьи мы получили модель с удовлетворяющим нас качеством и пришли к выводу, что не стоит сразу строить нейронные сети, на некорректных данных большой пользы от этого не будет. Чтобы избежать потери времени и своих сил, достаточно п...

[Перевод] Миграция с Nginx на Envoy Proxy Привет, Хабр! Предлагаю вашему вниманию перевод поста: Миграция с Nginx на Envoy Proxy. Envoy — это высокопроизводительный распределенный прокси-сервер (написанный на C++), предназначенный для отдельных сервисов и приложений, также это коммуникационная шина и «universal data...

Архитектура AERODISK vAIR или особенности национального кластеростроения Привет, Хабровчане! Мы продолжаем знакомить вас с российской гиперконвергентной системой AERODISK vAIR. В этой статье речь пойдет об архитектуре данной системы. В прошлой статье мы разобрали нашу файловую систему ARDFS, а в данной статье пройдёмся по всем основным программн...

[Перевод] Извлечение данных при машинном обучении Хотите узнать о трех методах получения данных для своего следующего проекта по ML? Тогда читайте перевод статьи Rebecca Vickery, опубликованной в блоге Towards Data Science на сайте Medium! Она будет интересна начинающим специалистам. Получение качественных данных — это пе...

Как масштабировать дата-центры. Доклад Яндекса Мы разработали дизайн сети дата-центров, который позволяет разворачивать вычислительные кластеры размером больше 100 тысяч серверов с пиковой полосой бисекции (bisection bandwidth) свыше одного петабайта в секунду. Из доклада Дмитрия Афанасьева вы узнаете об основных принци...

Нейросеть научили «оживлять» портреты на основе всего одного статичного изображения Российские специалисты из Центра искусственного интеллекта Samsung AI Center-Moscow в сотрудничестве с инженерами из Сколковского института науки и технологий разработали систему, способную создавать реалистичные анимированные изображения лиц людей на основе всего нескольки...

Google создала базу из тысячей записей синтезированной речи Похоже, в ближайшем будущем человеческое общение будет сведено к минимуму. По крайней мене все к этому идет: вот в Google, например, смогли собрать базу данных из тысячей записей синтезированной английской речи, сообщается в блоге компании. Таким образом специалисты еще на ...

Deep (Learning+Random) Forest и разбор статей Продолжаем рассказывать про конференцию по статистике и машинному обучению AISTATS 2019. В этом посте разберем статьи про глубокие модели из ансамблей деревьев, mix регуляризацию для сильно разреженных данных и эффективную по времени аппроксимацию кросс-валидации. Читать да...

Xilinx называет карту расширения Alveo U50 первым адаптируемым ускорителем «для любого сервера и любого облака» Компания Xilinx добавила в линейку ускорителей для центров обработки данных Alveo модель Alveo U50. Как утверждается, карта расширения Alveo U50 — первый в отрасли низкопрофильный адаптируемый ускоритель с поддержкой PCIe Gen 4, способный обеспечить прирост произв...

Intel представила свои первые чипы Nervana для ИИ в облаке Intel представила два новых процессора нейронных сетей Nervana, NNP-T1000 и NNP-I1000. Они являются первыми разработанными специально для облачных центров обработки данных клиентов. Оба чипа были разработаны для нужд обработки AI таких клиентов, как Facebook и Baidu. NN...

Университет Мальты представил программу обучения магистров по блокчейну Мультидисциплинарная научная магистратура в области блокчейна и технологий распределенного реестра (DLT) привлекает студентов, имеющих первую степень бакалавра в области ИКТ, бизнеса или права. В рамках этой программы студенты приобретают опыт в конкретной области, а также з...

Идея о поиске людей в лесу Эта статья описание небольшой идеи возникшей после прочтения недавней статьи «Обыскать 314 км² за 10 часов — финальное сражение инженеров-поисковиков против леса» Сразу предупрежу, что у меня маловато опыта в радиотехнике, и совсем нет оного в поиске пропавших людей, так чт...

Как мы внедряли SD-Access, и зачем это понадобилось Основная страница мониторинга. SD-Access — это реализация нового подхода к строительству локальных сетей от Cisco. Сетевые устройства объединяются в фабрику, поверх неё строится оверлей, и всем этим управляет центральный компонент — DNA Center. Выросло всё это из систем мо...

QVD-файлы — что внутри, часть 2 В первой статье о структуре QVD файла я описал общую структуру и достаточно подробно остановился на метаданных. В этой статье я опишу формат хранения информации о колонках, поделюсь своим опытом трактовки этих данных. Итак (вспоминаем) QVD файл соответствует реляционной табл...

Как мы музицировали с нейронными сетями v 2.0 Привет, Хабр. Это пост о том, как мы вывели нейронные сети в реальную жизнь. Если нравится прикладная роботика и инженерия, или любишь нейроночки, или мигаешь LEDом на Ардуине, то будет интересно. Впрочем, это история о том, как собрать множество разных компонентов и технол...

Архитектура нейронной сети для реализации алгоритма RL с возможностью задания одновременно выполняющихся действий Одна из классических схем нейронной сети для реализации алгоритма RL выглядит следующим образом: Где: inputs – входы в нейронную сеть; FC – (fully connected) архитектура скрытых слоев или CNN — FC – архитектура архитектура скрытых слоев (в зависимости о того, что подается ...

В России испытывают «военный интернет» Как сообщают «Известия» со ссылкой на Министерство обороны РФ, обмен информацией со скоростью 300 мегабит в секунду состоялся между полевыми пунктами управления на расстоянии более двух тысяч километров. Для создания сверхдальних линий передачи данных военные использовали сп...

Бенчмарк AI Review от разработчиков AnTuTu. ... Тренд 2018 года — искусственный интеллект в смартфонах. Производители ввязались в соревнование, кому удастся создать самый «умный» мобильник. С нейронными сетями научили работать многие устройства, теперь стоит цель — увеличить количество задач, в реш...

От iPhone 5s до iPhone XS: реальная скорость передачи данных в сотовых сетях за пять лет выросла лишь вдвое Скорость передачи данных в современных мобильных модемах уже давно перевалила за 1 Гбит/с. Однако это лишь возможности модема, которые ровным счётом ничего не значат без соответствующего покрытия оператора. Специалисты OpenSignal оценили реальную скорость переда...

[Перевод] Neuralink платформа интегрированного интерфейса мозг-компьютер с тысячами каналов Примечание. 16 июля 2019г. Илон Маск презентовал технологию, которая стала одной из первых серьезных попыток введения нейроинтерфейсов в клиническую практику и имеющая реальные трансгуманистические цели в долгосрочной перспективе. Данная статья является переводом, с некото...

Зачем нужна низкоуровневая оптимизация на Эльбрусе или как ускорить распознающую систему в полтора раза Встретив 2019 год и немного отдохнув от разработки новых фич для Smart IDReader, мы вспомнили, что давно ничего не писали об отечественных процессорах. Поэтому мы решили срочно исправиться и показать еще одну распознающую систему на Эльбрусе. В качестве распознающей системы...

[Перевод] Каскадная инвалидация кэша. Часть 1 Вот уже несколько лет, как почти каждая статья о передовых подходах к кэшированию рекомендует пользоваться в продакшне следующими методиками: Добавление в имена файлов информации о версии содержащихся в них данных (обычно — в виде хэша данных, находящихся в файлах). Устано...

Unity: процедурное редактирование Mesh Преобразование моделей «на лету» — нередкая практика в симуляции физики деформаций, а также в играх с динамически генерируемым и изменяемым контентом. В таких случаях удобно применять методы процедурного редактирования и создания геометрии. Последние часто позволяют сэкономи...

Сравнение и выбор систем миграции данных Сравнение и выбор систем миграции данных Модель данных в процессе разработки имеет свойство изменяться, и в какой-то момент она перестает соответствовать базе данных. Конечно же, БД можно удалить, и тогда ORM создаст новую версию, которая будет соответствовать модели, но т...

Линейная регрессия и методы её восстановления Источник: xkcd Линейная регрессия является одним из базовых алгоритмов для многих областей, связанных с анализом данных. Причина этому очевидна. Это очень простой и понятный алгоритм, что способствует его широкому применению уже многие десятки, если не сотни, лет. Идея зак...

[Из песочницы] Liqubase и Maven Введение Liquibase представляет из себя систему управления версиями базы данных, в основном это касается структуры и в меньшей степени содержимого базы. При этом описание базы с одной стороны достаточно абстрактно и позволяет использовать на нижнем уровне различные СУБД, и с...

Сверточный слой: методы оптимизации основанные на матричном умножении Введение Данная статья является продолжением серии статей описывающей алгоритмы лежащие в основе Synet — фреймворка для запуска предварительно обученных нейронных сетей на CPU. Если смотреть на распределение процессорного времени, которое тратится на прямое распространение...

[Перевод] Оптимизация стратегии игры в Блэкджек методом Монте-Карло Перевод статьи подготовлен специально для студентов курса «Machine learning». Обучение с подкреплением штурмом взяло мир Искусственного Интеллекта. Начиная от AlphaGo и AlphaStar, все большее число видов деятельности, в которых раньше доминировал человек, теперь завоевано...

Xbox нового поколения: 1-Тбайт SSD NVMe, 16 Гбайт GDDR6 и трассировка лучей На выставке CES 2019 было официально объявлено, что игровая консоль Xbox следующего поколения будет построена на платформе AMD. После этого в Сети стало появляться всё больше слухов о будущей новинке. Очередные слухи приписывают грядущей Xbox поддержку трассировки лучей в ре...

С бородой, в тёмных очках и в профиль: трудные ситуации для компьютерного зрения Технологии и модели для нашей будущей системы компьютерного зрения создавались и совершенствовались постепенно и в разных проектах нашей компании — в Почте, Облаке, Поиске. Вызревали как хороший сыр или коньяк. Однажды мы поняли, что наши нейросети показывают отличные резу...

Представлен ИИ, который самостоятельно учит роботов ходить Для того, чтобы роботизированый механизм научился ходить, недостаточно просто «приделать» к нему несколько ног. Обучение передвижению — очень сложный процесс, отнимающий у разработчиков массу времени. Но теперь этот вопрос будет решать искусственный интеллект, ведь гр...

Борьба за качество решений на Erlang/Elixir @jcutrer Сегодня мы будем говорить про журналы событий, количественные метрики и наблюдение за всем этим с целью увеличения скорости реакции команды на инциденты и уменьшения времени простоя целевой системы. Erlang/OTP как фреймворк и идеология построения распределенных сис...

Ох уж этот метод Ньютона О методах численной оптимизации написано много. Это и понятно, особенно на фоне тех успехов, которые в последнее время демонстрируют глубокие нейронные сети. И очень отрадно, что хотя бы часть энтузиастов интересуется не только тем, как забомбить свою нейросеточку на набравш...

Безопасность сетей 5G и телекоммуникаций По мнению специалистов Trend Micro, многие компании и целые отрасли уже сейчас стремятся воспользоваться преимуществами сетей 5G, но не имеют опыта работы с телекоммуникационными технологиями. Поэтому им будет намного сложнее справиться с атаками киберпреступников, которые у...

Data Science «спецназ» собственными силами Практика показывает, что многие enterprise компании сталкиваются с трудностью в реализации аналитических проектов. Все дело в том, что, в отличии от классических проектов по поставке железа или внедрению вендорских решений, укладывающихся в линейную модель исполнения, задач...

Будущее потоковых развлечений начинается сегодня с анонсом новых NVIDIA SHIELD TV Новый процессор Tegra X1+ и технологии глубокого обучения в основе масштабирования разрешения на базе ИИ, поддержка Dolby Atmos, Dolby Vision и не только

AI2019: железная основа искусственного интеллекта На конференции «Технологии искусственного интеллекта 2019» о своих «умных» чипах рассказали представители ведущих «процессорных» компаний. В разговорах «про искусственный интеллект» наибольшее внимание обычно уделяется нейросетям, методам обучения и т....

РНР-безопасность: где и как хранить пароли. Часть 2 Всем привет! На прошлой неделе мы опубликовали первую часть данной статьи, чем вызвали нешуточный холивар. Одной из главных претензий было отсутствие в статье упоминания password_hash, как мы и обещали, вторую часть данного материала начнем как раз таки с хеширования парол...

[Перевод] Доступное объяснение алгоритма коллапса волновой функции Алгоритм коллапса волновой функции (Wavefunction Collapse Algorithm) учит компьютер импровизировать. На входе он получает архетипичные данные и создаёт процедурно генерируемые данные, похожие на исходные. (Источник) Чаще всего он используется для создания изображений, но ...

[Из песочницы] Обрабатываем заказы из интернет магазина с помощью RabbitMQ и TypeScript Всем привет! Популярность интернет коммерции постоянно растет, как и доля информатизации всех смежных с торговлей видов деятельности. Вместе с этим растет и сложность обработки информации. Каждый заказ, сделанный клиентом интернет магазина, порождает за собой большое количе...

[Из песочницы] Многоязычный синтез речи с клонированием Хотя нейронные сети стали использоваться для синтеза речи не так давно (например), они уже успели обогнал классические подходы и с каждым годам испытывают на себе всё новые и новый задачи. Например, пару месяцев назад появилась реализация синтеза речи с голосовым клонировани...

У CEVA готова новая архитектура процессора нейронных сетей Компания CEVA представила архитектуру второго поколения для процессоров искусственного интеллекта. Разработка называется NeuPro-S и позиционируется как решение для периферийных устройств, в работе которых используется технология глубокого обучения. В частности, архитект...

Новая нейронная сеть Google значительно точнее и быстрее, чем популярные аналоги Свёрточные нейронные сети (англ. Convolutional neural networks — CNN), вдохновлённые биологическими процессами в зрительной коре человека, хорошо подходят для таких задач, как распознавание объектов и лиц, но повышение точности их работы требует утомительной и тонкой настрой...

Строительные блоки распределенных приложений. Первое приближение В прошлой статье мы разобрали теоретические основы реактивной архитектуры. Пришло время поговорить о потоках данных, путях реализации реактивных Erlang/Elixir систем и шаблонах обмена сообщениями в них: Request-response Request-Chunked Response Response with Request Publis...

Обман нейронной сети для начинающих В рамках ежегодного контеста ZeroNights HackQuest 2018 участникам предлагалось попробовать силы в целом ряде нетривиальных заданий и конкурсов. Часть одного из них была связана с генерированием adversarial-примера для нейронной сети. В наших статьях мы уже уделяли внимание ...

SoC Kirin 720, которая ляжет в основу Huawei Nova 5, представят завтра Компания Huawei на завтра назначила пресс-конференцию, которая посвящена анонсу новой однокристальной системы семейства Kirin. Источники считают, что речь может идти о новой флагманской однокристальной системе Kirin 985, которая будет производиться по нормам 7-нм технол...

[Перевод] Обучение с подкреплением на языке Python Привет, коллеги! В последней публикации уходящего года мы хотели упомянуть о Reinforcement Learning — теме, книгу на которую мы уже переводим. Посудите сами: нашлась элементарная статья с Medium, в которой изложен контекст проблемы, описан простейший алгоритм с реализаци...

[Из песочницы] Проект Lenergy, как переосмысление портативных источников питания Привет, Хабр! Хочу рассказать о своём виденье универсального программируемого портативного источника энергии. Как я к этому пришёл, каким в итоге проект стал в железе, для чего он нужен и варианты применения, а так же его дальнейшее развитие. Одной статьи будет явно недостат...

[Из песочницы] Использование локальной директории с пакетами в Python уже сейчас В Python 3.8 предлагается добавить альтернативу виртуальным окружениям — локальную директорию с пакетами PEP 582 Python local packages directory. Данный PEP предлагает добавить в Python механизм автоматического обнаружения директории __pypackages__ и использовать её при имп...

Основы формата GLTF и GLB, часть 1 Что такое GLTF и GLB? GLTF (GL Transmission Format) — это формат файла для хранения 3Д сцен и моделей, который является крайне простым в понимании (структура записана в стандарте JSON), расширяемым и легко взаимодействующим с современными веб-технологиями. Данный формат хоро...

Чип для передачи данных вчетверо быстрее 5G-модемов В перспективе чипы нового поколения могут быть интегрированы в модули связи устройств интернета вещей, автономных систем вождения и мультимедийных гаджетов для потоковой передачи данных в сверхвысоком разрешении. Ожидается, что первые коммерческие устройства на базе перспект...

Google научила «Google Фото» для Android искать текст на картинках Google Фото — безлимитное хранилище для фотографий Искусственный интеллект, нейронные сети, компьютерное зрение – всё это про Google. Компания серьёзно увлечена развитием этих технологий и активно применяет их в своих приложениях и сервисах. Несмотря на то что зачастую...

Intel анонсировала процессор Nervana NNP-T для задач глубокого обучения: 24 тензорных ядра, 27 млрд транзисторов, 32 ГБ памяти HBM2 Компания Intel поделилась подробными сведениями о своих ускорителях глубокого обучения Spring Crest. Процессор нейронной сети Nervana (Nervana Neural Network Processor for Training – NNP-T) оснащается 24 вычислительными тензорными ядрами и памятью HBM2 объёмом 32 ГБ. Вычисли...

Лучшие приложения для просмотра видео на Android Смотреть видео на гаджете под управлением Android просто и приятно Если вы пользовались мобильным телефоном в начале-середине 2000-х годов, то наверняка должны помнить, что раньше единственным вариантом посмотреть видео на телефоне (о смартфонах тогда не было и речи) было пе...

Архитектура Armv8.1-M включает расширенные возможности машинного обучения и обработки сигналов для самых маленьких встраиваемых систем Компания Arm на этой неделе представила архитектуру Armv8.1-M. В ней используется технология Arm Helium, представляющая собой расширение M-Profile Vector Extension (MVE) для процессоров серии Arm Cortex-M. Как утверждается, Helium обеспечивает повышение производительнос...

Как передать файлы с Android-устройства на Mac Передать файлы с Android на MacOS и обратно проще, чем кажется Одна из многих замечательных вещей в Android заключается в том, что вы можете легко копировать и переносить файлы с настольного ПК или ноутбука, просто подключив свой телефон через USB. К сожалению, все не так пр...

Разработка новой ветки продукта: как избавиться от непрактичного и сохранить полезное Привет, Хабр! Меня зовут Дмитрий, я разработчик в ISPsystem. Недавно мы выпустили в бета-тестирование новую версию панели управления виртуальными машинами. Сегодня я расскажу, как мы решали, что взять из старого продукта, а от чего лучше отказаться. Пройдусь по самым важны...

Что предложат новые хранилища для систем ИИ и МО MAX Data объединят с Optane DC для эффективной работы с системами ИИ и МО. Фото — Hitesh Choudhary — Unsplash По данным исследования MIT Sloan Management Review и The Boston Consulting Group, 85% из трех тысяч опрошенных управленцев считают, что системы ИИ помогут их комп...

Schneider Electric: Энергия — цифровой экономике Компания провела в Москве очередной форум Innovation Summit для партнеров и заказчиков. Компания Schneider Electric провела очередной Innovation Summit, в этом году — под слоганом «Энергия цифровой экономики». На отдельной сессии, как и в ход...

Конференция «Технологии искусственного интеллекта» 22 мая 2019. Промокод 15% на участие 22 мая состоится международная практическая конференция «Технологии искусственного интеллекта 2019. Делаем информационные системы умными: инструменты и опыт реальных проектов». Читателям портала предоставляется скидка 15% на покупку билета по промокоду realITSM. В программе...

Созданы невероятно эффективные нейросети: машинное обучение Когда исследователи говорят об искусственном интеллекте, то в основном подразумевают класс компьютерных программ, называемый «искусственными нейронными сетями». Они призваны имитировать работу нашего мозга, что существенно расширяет спектр их возможностей и дает пространство...

NLP. Основы. Техники. Саморазвитие. Часть 1 Привет! Меня зовут Иван Смуров, и я возглавляю группу исследований в области NLP в компании ABBYY. О том, чем занимается наша группа, можно почитать здесь. Недавно я читал лекцию про Natural Language Processing (NLP) в Школе глубокого обучения – это кружок при Физтех-школе п...

Mindtech создал новые возможности масштабирования инструментов Chameleon Британский стартап Mindtech Global Ltd представил поддержку контейнерного формата, позволяющую сразу нескольким копиям его инструмента для генерирования искусственных данных Chameleon функционировать на кластерных платформах. Подобный подход обеспечивает возможност...

Авторский курс по обучению Ардуино для собственного сына Здравствуйте! Прошлой зимой я рассказывал на страницах Хабра о создании робота-«охотника» на Ардуино. Я занимался этим проектом со своим сыном, хотя, по сути, 95% всей разработки осталось за мной. Робота мы доделали (и уже, кстати, разобрали), но после этого возникла новая ...

Julia и нейронные сети: Flux Прошло чуть больше года, с тех пор как MIT объявил о релизе высокопроизводительного языка общего назначения Julia. С тех пор язык набирает популярность: он используется в более чем 1500 университетах (в некоторых преподается в качестве первого ЯП), а области применения охва...

[Перевод] Интеграция проверок пароля в KeePass по базе данных утечек Данная статья по шагам описывает процесс интеграции проверок пароля на безопасность в менеджере паролей KeePass. Проверки используют последнюю базу данных Have I Been Pwned, где хранятся утекшие пароли, и всё это работает локально, поэтому вам не надо беспокоиться о возможно...

[Перевод] Приёмы в проектировании пользовательского интерфейса, которые сэкономят время В переводе этой статьи автор приводят ряд советов и приёмов, которые упростят жизнь при проектировании дизайна пользовательского интерфейса. В статье даны сведения о полезных и экономящих время возможностях работы таких программ как Sketch, Adobe Illustrator, Figma, Adobe XD...

[Перевод] Service mesh для микросервисов. Часть II, основы работы с Istio Перевод статьи подготовлен специально для студентов курса «Инфраструктурная платформа на основе Kubernetes». Настройка базового микросервиса в Kubernetes обманчиво проста. В одной из последних статей мы рассказали, как легко начать работать с контейнерами. Мы скомпоновали п...

Бенчмарк даёт представление о производительности чипа Snapdragon 865 В базе данных Geekbench появилась информация о загадочной аппаратной платформе Qualcomm: наблюдатели полагают, что тесты прошёл образец будущего флагманского процессора Snapdragon 865. Изделие фигурирует как QUALCOMM Kona for arm64. Оно протестировано в составе устройства на...

В приложении «Сбербанк Онлайн» появился поиск на базе машинного обучения Единый поиск по приложению на главном экране позволяет искать контакты для переводов, организации для платежей, функции приложения и банковские продукты. Теперь за счет самообучающихся алгоритмов результаты поиска настраиваются под клиента, что позволяет ему быстро перейти н...

Cascadeur: предсказание позы персонажа по шести точкам Хотим в общих чертах рассказать про первые достижения с deep learning в анимации персонажей для нашей программы Cascadeur. Во время работы над Shadow Fight 3 у нас накопилось много боевой анимации — около 1100 движений средней длительностью около 4 секунд. Нам давно казало...

IoT-стандарты, сети, три стола Тема интернета вещей и раньше проскальзывала на конференциях РИТ++ и HighLoad++, но обычно с упором на привычные нам вопросы хранилищ данных или программирования. Но в прошлом году мы решили, что настало время серьезно обсуждать IoT: аппаратное обеспечение, сети передачи дан...

Обучающий курс по DataPower Материал подготовлен в соавторстве с пользователем wedmeed В 2017 году, когда начинался наш проект во Вьетнаме, мы столкнулись с новым для нас зверем IBM DataPower. IBM DataPower – продукт, представляющий собой gateway между клиентами и бэкендами, предназначенный для фильтр...

Финляндия использует заключенных для обучения ИИ Обычно исправительные работы в тюрьмах ассоциируются с физическим трудом, однако заключенные двух исправительных учреждений в Финляндии занимаются совершенно неожиданной для таких мест работой – сортируют и классифицируют информацию, которая используется для обучения алгори...

[Из песочницы] Машинное обучение для менеджеров: таинство сепуления Введение Очередной раз работая с компанией, делающей проект, связанный с машинным обучением (ML), я обратил внимание, что менеджеры используют термины из области ML, не понимая их сути. Хотя слова произносятся грамматически правильно и в нужных местах предложений, однако их ...

Практическая стеганография Применение принципов стеганографии для решения реальных задач Собственно, термин “стеганография” давно не вызывает вопросы, и в общем случае понятно, что речь идет о способах передачи скрытых данных внутри других, не скрытых. Правда, когда начинаются рассуждения про применим...

Новое решение Informatica для больших данных стало доступным в России Решение обеспечивает сбор потоковых данных и их доставку всистемы работы с большими данными (Kafka, Hadoop, Cassandra) и системы Operational Intelligence (системы мониторинга операций в реальном времени). На российском рынке стало доступным новое решение Informatica для б...

[Перевод] Создание надёжного и проверяемого ИИ: соответствие спецификациям, надёжное обучение и формальная верификация Ошибки и ПО шли рука об руку с самого начала эпохи программирования компьютеров. Со временем разработчики выработали набор практик по тестированию и отладке программ до их развёртывания, однако эти практики уже не подходят к современным системам с глубоким обучением. Сегодня...

Система искусственного интеллекта позволяет роботу выпутаться из самых тяжелых непредвиденных ситуаций Одной из самых тяжелых проблем, с которыми сталкиваются разработчики четвероногих и двуногих роботов являются действия этих роботов, позволяющих им подняться после падения. Ранее это реализовывалось при помощи разветвленных сложных алгоритмов, определяющих последовательность...

В однокристальных системах Broadcom следующего поколения будет интегрирован процессор искусственного интеллекта Компания VeriSilicon на днях объявила о том, что компания Broadcom выбрала для использования в своей однокристальной системе для абонентских приставок следующего поколения процессор семейства Vivante VIP8000/VIPNano, предназначенный для приложений искусственного интелле...

Принципы построения систем потоковой аналитики Проектирование систем потоковой аналитики и потоковой обработки данных имеет свои нюансы, свои проблемы и свой технологический стек. Об этом мы поговорили в очередном открытом уроке, прошедшим накануне запуска курса «Data Engineer». На вебинаре обсудили: когда нужна пот...

[Перевод] Никогда больше не игнорируйте обучение с подкреплением Привет, Хабр! Представляю вашему вниманию перевод статьи «Don’t Ever Ignore Reinforcement Learning Again» автора Michel Kana, Ph.D. Обучение с учителем и обучение без учителя — это ещё не все. Все это знают. Начните с OpenAI Gym. Собираетесь победить чемпиона мира по шах...

НЦИ станет интегратором блокчейн-решений компании Vostok Ожидается, что общий объем проектов превысит 1 млрд рублей. "Распределенные системы сбора, хранения и обработки данных - одна из сквозных технологий с огромным, пока еще не реализованным потенциалом. Мы видим запрос от заказчиков на тестирование и внедрение этих техноло...

[Перевод] Утечка 809 миллионов email адресов сервиса Verifications.io из-за публично открытой MongoDB Примечание переводчика — поводом для перевода статьи стало получение уведомления Have I Been Pwned о том, что мои данные оказались в этой утечке. На прошлой неделе исследователи безопасности Bob Diachenko и Vinny Troia обнаружили незащищенную базу данных MongoDB, содержащую...

QVD файлы — что внутри QlikView и его младший брат QlikSense — замечательные BI инструменты, достаточно популярные у нас в стране и "за рубежом". Очень часто эти системы сохраняют "промежуточные" результаты своей работы — данные, которые визуализируют их "дашборды" — в так называемые "QVD файлы". ...

Обеспечение надежной работы Zextras Team в сложных корпоративных сетях В прошлой статье мы рассказали вам о Zextras Team — решении, которое позволяет добавить в Zimbra Collaboration Suite Open-Source Edition функциональность корпоративных текстовых и видео-чатов, а также возможность проводить видеоконференции с большим числом участников, без не...

[Перевод] Скучный технологический стек интернет-компании из одного человека Поисковая выдача на ListenNotes.com Listen Notes — это поисковая система и база данных подкастов. Технология на самом деле очень скучная. Никакого ИИ, глубокого обучения или блокчейна. «Если вы должны объявлять о внедрении ИИ, то вы не используете Настоящий ИИ» :) После п...

Отличаем символы от мусора: как построить устойчивые нейросетевые модели в задачах OCR В последнее время мы в группе распознавания компании ABBYY всё больше применяем нейронные сети в различных задачах. Очень хорошо они зарекомендовали себя в первую очередь для сложных видов письменности. В прошлых постах мы рассказывали о том, как мы используем нейронные сети...

Улучшение производительности Zabbix + PostgreSQL при помощи партиционирования и индексирования Примерно год назад передо мной и моими коллегами была поставлена задача разобраться с использованием популярной системы мониторинга сетевой инфраструктуры — Zabbix. После изучения документации мы сразу же перешли к нагрузочному тестированию: хотели оценить с каким количество...

[Из песочницы] Как я Keras на C++ запускал Не так давно передо мной встала производственная задача – запустить обученную модель нейронной сети Kesas на нативном C++ коде. Как ни странно, решение оказалось вообще не тривиальным. В результате чего появилась собственная библиотека, дающая такую возможность. О том, как ж...

Microsoft улучшила функцию «Прочесть вслух» в Edge Chromium Компания Microsoft выпустила новый набор голосов для пользователей браузеров Microsoft Edge Dev и Canary на базе Chromium, которые призваны сделать функцию «Прочесть вслух» более естественной. Многие пользователи жаловались на то, что старые голоса звучали слишком роботизир...

Lenovo готовит первый в мире ноутбук на Windows с поддержкой 5G В конце прошлого года компания Qualcomm Technologies анонсировала аппаратную платформу Snapdragon 8cx, которая производится в соответствии с 7-нанометровым технологическим процессом и предназначается для использования в портативных компьютерах с постоянным подключением к сет...

Представлена Samsung Exynos 980 — первая SoC Samsung со встроенным модемом 5G Компания Samsung Electronics представила свою первую мобильную однокристальную систему с интегрированной поддержкой сетей 5G, которая получила название Samsung Exynos 980. Samsung Exynos 980 производится по нормам 8-нанометрового технологического процесса и включает два...

Процессор Toshiba Visconti 5 получит IP-ядро DNN Компания Toshiba объявила о разработке IP-ядра Deep Neural Network (DNN), предназначенного для ускорения работы глубоких нейронных сетей. Этот аппаратный блок будет интегрирован в процессор распознавания изображений Visconti 5, образцы которого Toshiba рассчитывает нача...

Google сделает Chrome удобным для слепых Chrome станет по-настоящему инклюзивным благодаря нейронным сетям Нарушения зрения — ещё не повод отказываться от работы за компьютером. Во-первых, так можно быть наверняка уверенным, что глаза вы уже не испортите. А, во-вторых, вспомогательные инструменты, встроенные ...

[Перевод] История транзистора, часть 3: многократное переизобретение Другие статьи цикла: История реле Метод «быстрой передачи сведений», или Зарождение реле Дальнописец Гальванизм Предприниматели А вот, наконец, и реле Говорящий телеграф Просто соединить Забытое поколение релейных компьютеров Электронная эра История электронных компьютер...

Делаем нейронную сеть: как не сломать мозг Привет, Хабр! В этой небольшой заметке расскажу о двух подводных камнях, с которыми как легко столкнуться, так и легко о них разбиться. Речь пойдет о создании тривиальной нейронной сети на Keras, с помощью которой будем предсказывать среднее арифметическое двух чисел. Каз...

Spring JPA репозитории в CUBA Тема статьи достаточно узконаправленная, но, возможно, окажется полезной тем, кто разрабатывает свои собственные хранилища данных и думает об интеграции со Spring Framework. Предпосылки Разработчики обычно не очень любят менять свои привычки (зачастую, в список привычек вхо...

В Ленинградской области запустят сеть NB-IoT Соглашение о сотрудничестве подписали на Российском Инвестиционном Форуме в Сочи глава Ленобласти Александр Дрозденко и директор МТС в Санкт-Петербурге и Ленинградской области Павел Коротин. Ключевым направлением сотрудничества станет реализация проектов, связанных с цифрови...

Началась сертификация поддержки Wi-Fi 6 Организация Wi-Fi Alliance сообщила, что начала работу программа сертификации Wi-Fi CERTIFIED 6. Оборудование Wi-Fi CERTIFIED 6 соответствует спецификации IEEE 802.11ax, в которой закреплены новые возможности, позволяющие «существенно повысить общую производительн...

Что не так с обучением с подкреплением (Reinforcement Learning)? Еще в начале 2018 года вышла статья Deep Reinforcement Learning Doesn't Work Yet ("Обучение с подкреплением пока не работает"). Основная претензия которой сводилась к тому, что современные алгоритмы обучения с подкреплением требуют для решения задачи примерно столько же вре...

AI supremacy: Leela Chess. Или про то, как полностью открытая нейросеть победила Честно говоря, я очень разочарован хабром. Почему никто не осветил такую вещь, как победа нейросетевого подхода с полностью открытым кодом, а? И полностью открытыми нейросетевыми данными? Действительно, ну вот DeepMind Technologies описали как они обучали шахматный ИИ, иг...

Машинное обучение поможет метеорологам точнее предсказывать выпадение града Ученые из Национального центра атмосферных исследований США научили сверточную нейронную сеть распознавать признаки гроз, свидетельствующие об образовании града, а также предсказывать величину градин. Оба этих параметра крайне сложно прогнозировать обычными методами, пишет E...

[recovery mode] Простота и cложность примитивов или как определить ненужный препроцессинг для нейронной сети Это третья статья по анализу и изучению эллипсов, треугольников и других геометрических фигур. Предыдущие статьи вызвали у читателей несколько очень интересных вопросов, в частности о сложности или простоте тех или иных обучающих последовательностей. Вопросы на самом деле оч...

[Из песочницы] Необходимые материалы для старта разработки обучающего VR проекта В статье подробно расскажем в каком формате заказчик должен предоставить информацию исполнителю, для разработки VR проекта и какие материалы необходимо предоставить, для четкого описания проекта своей идеи. Задача заказчика заключается в донесении информации исполнителю, для...

Книга «Грокаем глубокое обучение» Привет, Хаброжители! Книга закладывает фундамент для дальнейшего овладения технологией глубокого обучения. Она начинается с описания основ нейронных сетей и затем подробно рассматривает дополнительные уровнии архитектуры. Книга специально написана с намерением обеспечить м...

Локализация звуков: как мозг распознает источники звуков Мир, окружающий нас, наполнен всевозможной информацией, которую наш мозг непрерывно обрабатывает. Получает он эту информацию посредством органов чувств, каждый из которых отвечает за свою долю сигналов: глаза (зрение), язык (вкус), нос (обоняние), кожа (осязание), вестибул...

Билайн за два часа привезет sim-карты и покупки из интернет-магазина Чтобы воспользоваться быстрой доставкой SIM-карт и оборудования, клиенту достаточно выбрать соответствующую опцию при покупке. Стоимость доставки оборудования и аксессуаров составляет 300 рублей, sim-карты привозят бесплатно. Сейчас быстрая доставка производится в Москве и С...

Преобразуем изображение в звук — что можно услышать? Привет Хабр. В недавней публикации здесь на сайте описывалось устройство, позволяющее незрячим людям «видеть» изображение, преобразуя его с помощью звуковых волн. С технической точки зрения, в той статье не было никаких деталей вообще (а вдруг украдут идею за миллион), но с...

[Из песочницы] Интерактивная лаборатория термодинамики как эффективное средство имитационного обучения Введение Имитационное обучение с использованием мультимедийных образовательных ресурсов является одним из перспективных направлений информатизации современного образования. Под имитационным обучением мы будем понимать такую модель обучения, в которой посредством программного...

Подборка рабочих примеров обработки данных Привет, читатель. По стопам моего первого поста подборки датасетов для машинного обучения — сделаю подборку относительно свежих датасетов с рабочими примерами по обработке данных. Ведь ни для кого не секрет, что обучение на хороших примерах проходит эффективнее и быстрее. П...

Распознавание рентгеновских снимков: precision = 0.84, recall = 0.96. А нужны ли нам еще врачи? В последнее время все чаще обсуждается применение AI в медицине. И, конечно, область медицины, которая прямо напрашивается для такого применения это областей диагностики. Кажется, и раньше можно было применять экспертные системы и алгоритмы классификации к задачам постано...

Waymo использует эволюционную конкуренцию для совершенствования самоуправляемых автомобилей При обычном подходе процесс обучения автономному управлению автомобиля с использованием ИИ, как сообщает ресурс engadget.com, будет довольно длительным и не отличаться особой эффективностью, так как исследователям потребуется либо использовать огромное количество вычислитель...

Основы статической маршрутизации в Mikrotik RouterOS Маршрутизация — процесс поиска оптимального пути для передачи пакетов в сетях TCP/IP. Любой устройство подключенное к сети IPv4 содержит процесс и таблицы маршрутизации. Данная статья не является HOWTO, она описывает на примерах статическую маршрутизацию в RouterOS, я намере...

JMeter — швейцарский нож тестировщика (Часть 2) Сегодня расскажу, как мы с помощью JMeter’а наладили процесс кэширования продуктовых страниц, проверили работу мобильного приложения без самого приложения и создали 2000 юзеров в системе без доступа к базе данных. Кто не в курсе, что здесь происходит, читайте первую часть ...

Основные итоги сентябрьского SAP TechEd SAP стремится упростить разработку приложений на своей облачной платформе и помогает клиентам получить максимум полезной отдачи от средств машинного обучения. В конце сентября в Лас-Вегасе прошла конференция SAP TechEd — первое из серии трех масштабных мероприят...

[Перевод] Как масштабируется обучение искусственного интеллекта Мы в OpenAI обнаружили, что масштаб градиентного шума [gradient noise scale], простой статистический метод, предсказывает параллелизуемость обучения нейтральной сети на широком спектре задач. Поскольку у более сложных задач градиент обычно становится более шумным, то увеличе...

Новый Microsoft Edge научился читать статьи вслух. Почти как человек В браузере появилась поддержка голосов на базе нейронных сетей.

[Перевод] Распознавание эмоций с помощью сверточной нейронной сети Распознавание эмоций всегда было захватывающей задачей для ученых. В последнее время я работаю над экспериментальным SER-проектом (Speech Emotion Recognition), чтобы понять потенциал этой технологии – для этого я отобрал наиболее популярные репозитории на Github и сделал их...

Выбираем систему хранения файлов для командной работы Мы работаем с большими объемами медиа данных: видео, рендеры, фото, иллюстрации. Чтобы обеспечивать коллективную работу, нам нужен постоянный общий доступ ко всем этим файлам. В какой-то момент нам перестало хватать собственного сервера, и мы начали искать облачное храни...

Глубины SIEM: корреляции «из коробки». Часть 4. Модель системы как контекст правил корреляции Представьте ситуацию: вы потратили много времени на написание и отладку правил корреляции, а через день обнаружили, что они не работают. Как говорится, никогда такого не было и вот опять! После выясняется, что ночью сеть в очередной раз модернизировали, а парочку серверов за...

Используем mcrouter для горизонтального масштабирования memcached Разработка высоконагруженных проектов на любом языке требует особого подхода и применения специальных инструментов, но когда речь заходит о приложениях на PHP, ситуация может обостриться настолько, что приходится разрабатывать, к примеру, собственный сервер приложений. В д...

[Перевод] Архитектура программного обеспечения переоценена, простой и понятный дизайн — недооценен Вашему вниманию предлагается перевод поста Гергелия Ороса, занимающего должность Engineering Manager в Uber. В нем он делится своим взглядом на проектирование крупномасштабных систем, основанном на собственном практическом опыте работы в Uber и Microsoft. В сочетании с ком...

[Перевод] О сетевой модели в играх для начинающих Последние две недели я работал над сетевым движком для своей игры. До этого я вообще ничего не знал о сетевых технологиях в играх, поэтому прочитал множество статей и провёл множество экспериментов, чтобы уяснить все концепции и иметь возможность написать собственный сетево...

Один день из жизни модели ресторана Данная статья описывает новые компоненты фреймворка для имитационного моделирования, ранее представленного в статье «Простая система имитационного моделирования на Go». По мере расширения фреймворка появилась возможность моделировать более сложные системы, например, провест...

Microsoft SQL Server 2019 и флэш-массивы Dell EMC Unity XT Сегодня мы познакомим вас с особенностями использования SQL Server 2019 с системой хранения Unity XT, а также дадим рекомендации по виртуализации SQL Server с помощью технологии VMware, по настройке и управлению базовыми компонентами инфраструктуры Dell EMC. В 2017 году De...

[Из песочницы] Golang и эволюция взаимодействия с базами данных В этой статье хочу обобщить проблемы работы с базами данных под управлением golang. При решении простых задач обычно эти проблемы не видны. С ростом проекта масштабируются и проблемы. Наиболее злободневные из них: Снижение связности приложения, работающего с базой данных Жу...

[Перевод] Топ-65 вопросов по SQL с собеседований, к которым вы должны подготовиться в 2019 году. Часть I Перевод статьи подготовлен для студентов курса «MS SQL Server разработчик» Реляционные базы данных являются одними из наиболее часто используемых баз данных по сей день, и поэтому навыки работы с SQL для большинства должностей являются обязательными. В этой статье с вопрос...

[Из песочницы] Бизнес-логика в базе данных при помощи SchemaKeeper Цель данной статьи — на примере библиотеки schema-keeper показать инструменты, которые позволяют существенно облегчить процесс разработки баз данных в рамках PHP-проектов, использующих СУБД PostgreSQL. Информация из этой статьи, в первую очередь, будет полезна разработ...

ARM представила новинки для мобильных устройств Процессор Cortex-A77, видеоускоритель Mali-G77 и нейронный процессор (NPU) ARM ML предназначены для производительных смартфонов, 5G и IoT устройств, машин с автопилотом, для работы нейронных сетей и выполнения задач искусственного интеллекта.

Лучшие облачные сервисы 2019 года для хранения фотографий и не только Из-за постоянно растущего количества информации, памяти наших смартфонов зачастую уже не хватает. Ведь даже самому обычному пользователю для комфортной работы уже нужно установить с десяток приложений, загрузить музыку для прослушивания оффлайн, да и серию любимого сериала ...

[Перевод] Предсказание наводнений в Google: взгляд изнутри Несколько лет назад мы решили, что предсказание наводнений даёт уникальную возможность улучшить жизни людей, и начали смотреть, как инфраструктура и опыт в машинном обучении компании Google может помочь в этой области. В прошлом году мы начали наш пилотный проект по предск...

Подробности о конфигурациях памяти семейства Samsung ... Samsung определилась с датой релиза смартфонов линейки Galaxy S10 и он состоится 20 февраля. Уже много сказано, что в этом году компания удивит количеством устройств в рамках флагманского семейства и их может быть от трех о пяти. Ожидается, что дисплеи станут еще больше...

Подборка датасетов для машинного обучения Привет, читатель! Перед тобой статья-путеводитель по открытым наборам данных для машинного обучения. В ней я, для начала, соберу подборку интересных и свежих (относительно) датасетов. А бонусом, в конце статьи, прикреплю полезные ссылки по самостоятельному поиску датасетов....

[Перевод] Краткий и бодрый обзор архитектуры компиляторов Большинство компиляторов имеют следующую архитектуру: В данной статье я собираюсь детально препарировать эту архитектуру, элемент за элементом. Можно сказать, что эта статья — дополнение к огромному количеству существующих ресурсов на тему компиляторов. Она является а...

[Перевод] 56 проектов на Python с открытым исходным кодом 1. Flask Это микро-фреймворк, написанный на Python. Он не имеет валидаций для форм и уровня абстракции базы данных, но позволяет вам использовать сторонние библиотеки для общих функций. И именно поэтому это микро-фреймворк. Flask предназначен для простого и быстрого создан...

Huawei представила базу данных типа AI-Native Huawei запустила базу данных типа AI-Native GaussDB, а также распределенное хранилище данных FusionStorage …

Волшебный Paint: как превратить корявые рисунки в красивые пейзажи Компьютерные энтузиасты запустили веб-сервис SmartSketch, который работает на основе нейронной сети и позволяет превращать простейшие рисунки в реалистичные пейзажи.

Черное Зеркало своими руками — обучаем бота на базе своей истории чатов В "Черном Зеркале" была серия (S2E1), в которой создавали роботов, похожих на умерших людей, используя для обучения историю переписок в социальных сетях. Я хочу рассказать, как я попробовал сделать что-то подобное и что из этого получилось. Теории не будет, только практика. ...

[Из песочницы] Sonoff Basic прошивка через Raspberry Pi Эта инструкция не претендует на новизну. Приведенное тут вполне гуглится (правда на английском языке), но я долго искал с чего начать и решил помочь тем, кто встает на путь общения с Sonoff. Обзоров Sonoff Basic в интернете много в том числе на русском языке, также есть ст...

[Из песочницы] Согласие на обработку данных по GDPR: подробный разбор GDPR (или «Регламент») содержит несколько оснований для обработки персональных данных. Эти основания можно условно разделить на две большие группы. Это обработка на основании личного согласия носителя (владельца) персональных данных, и обработка на иных основаниях. В данно...

Электромобили из 90ых. Часть 1. Братья Ситроен и Пежо Источник Еще в девяностых годах двадцатого века автомобильный концерн PSA разработал и выпустил несколько малосерийных элекромобилей, вполне пригодных для городских нужд, с пробегом до 100км, возможностью зарядки от простой бытовой розетки и даже от сети быстрых зарядок те...

Microsoft может помочь Chrome потреблять меньше энергии аккумулятора в Windows 10 Google Chrome – это быстрый и многофункциональный браузер, но это печально известная проблема с батареями и ресурсами, которая может снизить производительность вашего устройства Windows, тянется уже очень долго. Похоже, что у Microsoft сейчас есть идея, которая может улучшит...

МТС открывает бизнесу доступ к облачному суперкомпьютеру Решение провайдера #CloudMTS с гибкой тарификацией предназначено как для крупных заказчиков, так и для малого бизнеса и стартапов в различных сферах: в промышленности, финансах, ритейле, научно-прикладных изысканиях - там, где требуется доступ к большим вычислительным мощнос...

Придумано «железо», которое ускорит искусственный интеллект в 10 раз Сейчас задача ускорения вычислений для искусственного интеллекта в ЦОДах решается за счет различных устройств: графических процессоров (GPU), программируемых пользователем вентильных матриц (FPGA) и интегральных схем специального назначения (ASIC).Графические процессоры и FP...

Шины и протоколы в промышленной автоматике: как всё это работает Наверняка многие и вас знают или даже видели, каким образом управляются большие автоматизированные объекты, например, атомная станция или завод со множеством технологических линий: основное действо часто происходит в большой комнате, с кучей экранов, лампочек и пультов. Эт...

[Из песочницы] Подход интенсивного обучения STEM В мире инженерного образования существует много отличных курсов, но зачастую программа обучения, построенная на них, обладает одним серьезным недостатком — отсутствием хорошей связности между различными темами. Можно возразить: как же так? Когда формируется программа обуче...

[Перевод] Введение в Redis с использованием Spring Boot Перевод статьи подготовлен специально для студентов курса «Разработчик на Spring Framework». В этой статье мы рассмотрим основы использования Redis через Spring Boot с помощью библиотеки Spring Data Redis. Мы создадим приложение, которое демонстрирует, как выполнять CR...

[Из песочницы] Ограничения машинного обучения Привет, Хабр! Представляю вашему вниманию перевод статьи “The Limitations of Machine Learning“ автора Matthew Stewart. Большинство людей, читающих эту статью, вероятно, знакомы с машинным обучением и соответствующими алгоритмами, используемыми для классификации или прогнози...

Машинное обучение оказалось в пять раз вреднее автомобиля В своей работе сотрудники колледжа информатики и компьютерных наук изучили работу четырех самых продвинутых программ машинного обучения на нейронных сетях, которые появились в последние годы и сосредоточены на распознавании естественных языков, пишет "КоммерсантЪ"....

[Из песочницы] Архитектура SPA-приложения биржи в 2019 году Приветствую, хабровчане! Читаю данный ресурс со времени основания, но время на написание статьи появились только сейчас, а значит пора поделиться своим опытом с сообществом. Начинающим разработчикам, рассчитываю, статья поможет улучшить качество проектирования, а опытным выс...

Telia тестирует первый в мире кинотеатр с трансляцией фильмов по 5G Индивидуальные пользователи уже имеют возможность смотреть потоковое видео на экранах смартфонов, используя подключение к сотовой сети. Чтобы использовать эту технологию на большом экране кинотеатра с высокими требованиями к разрешению и качеству изображения, необходимо...

Kyocera представила виртуальную электростанцию на блокчейне Виртуальная электростанция, запуск которой намечен на 28 февраля 2019 года, будет состоять из распределенной сети источников энергии, роль которых будут выполнять солнечные панели, накопителей энергии и активных потребителей. Одноранговая платформа позволяет участникам этой ...

Qualcomm Snapdragon 730, 730G и 665: мобильные платформы среднего уровня с улучшенным ИИ Компания Qualcomm представила сразу три новые однокристальные платформы, предназначенные для использования в смартфонах среднего ценового сегмента. Новинки называются Snapdragon 730, 730G и 665, и, по словам производителя, они обеспечивают лучшую работу с ИИ и более высокую ...

Новое поколение серверных процессоров Intel Представляя новые процессоры, региональный директор Intel в России Наталья Галян отметила, что половина мировых данных была создана за последние два года и только 2% из них были проанализированы. Стремительный рост объема данных требует новых решений в области хранения, пере...

Microsoft делает преобразование текста в речь более доступным и вместе с Alphabet X открывает обучающие курсы по квантовым вычислениям Microsoft совместно с группой китайских исследователей создала искусственный интеллект для преобразования текста в речь. Он способен генерировать реалистичную речь, используя 200 образцов голоса (общей продолжительностью примерно 20 минут) и соответствующие правила транскрип...

Hitachi Vantara представила пакет решений Lumada Manufacturing Insights Основанные на обширных знаниях в области производственных технологий решения для промышленного Интернета вещей помогут оптимизировать работу оборудования и улучшить производственные процессы. Lumada Manufacturing Insights по...

[Из песочницы] Как я обучал нейросеть для реализации функции оценки положения на Russian AI Cup CodeBall 2018 Имея возможность качественно оценить положение в игре в какой-то момент времени и возможность симулировать игровой мир, при создании бота, для одного из решений, остается лишь стремиться совершать такие действия, которые приводят к улучшению этой оценки в ближайшем будущем. ...

Искусственный интеллект определил возраст детей по движениям их глаз Искусственный интеллект порой превосходит человека по внимательности и точности. Этот факт в очередной раз доказали исследователи из Университета Миннесоты, которые использовали машинное обучение для того, чтобы обучить компьютер определять возраст ребенка по движениям его ...

[Перевод] Улучшаем квантовые вычисления, применяя классическое машинное обучение В преддверии старта нового потока по курсу «Нейронные сети на Python» подготовили для вас перевод интересной статьи. Одна из самых главных проблем в реализации нового поколения квантовых компьютеров заключается в их самой базовой конситуэнте: кубите. Кубиты могут взаимод...

Google приобретет облачный стартап Elastifile Интеграция упростит хранение файлов в петабайтах

«Мегафон» займется созданием маркетплейса образовательного контента для школ России В конкурсе приняли участие 4 компании - НПК "Высокие технологии и стратегические системы", "Си Ти Ай", "Ростелеком" и "Мегафон". По результатам оценки заявок наибольшее количество баллов получил "Мегафон". С этой компанией бу...

Сбербанк представил самый мощный в России суперкомпьютер Презентация суперкомпьютера с участием Президента, Председателя Правления Сбербанка Германа Грефа и СТО "Сбербанк Груп", исполнительного вице-президента, руководителя блока "Технологии" Сбербанка Давида Рафаловского прошла на международной конференции AI ...

Новые серверы Fujitsu… и жидкостное охлаждение Компания Fujitsu представила в Москве новое поколение своих серверов PRIMERGY и PRIMEQUEST, которые построены на базе процессоров Intel Xeon Scalable, поддерживающих до 56 ядер. По словам Евгения Тарелкина, менеджера по развитию серверного бизнеса Fujitsu, главной особенност...

Машинное зрение на Python. Обучаем нейросеть распознавать цифры Для подписчиковРаньше капча с числами была отличным способом отсеять ботов, а сейчас такая разновидность уже почти не встречается. Думаю, ты и сам догадываешься, в чем дело: нейросети научились распознавать такие капчи лучше нас. В этой статье мы посмотрим, как работает нейр...

Компания tZERO запатентовала решение по интеграции криптовалют с традиционными торговыми системами Платформа security-токенов tZERO получила патент на решение, позволяющее интегрировать традиционные торговые системы с криптовалютами и другими цифровыми активами, сообщает CoinDesk. Успешное получение патента было подтверждено на прошлой неделе Бюро по регистрации патентов ...

Новые профессиональные лазерные 4К проекторы BenQ для современных инсталляций Компания BenQ анонсирует расширение линейки лазерных инсталляционных проекторов L серии - моделями BenQ LU950, LU951, LU951ST, LK952, LK953ST Все модели имеют высокую яркость 5000 ANSI lm, разрешение WUXGA и 4K UHD, представлены с длиннофокусными и короткофокусными...

8 советов, как применить свою квалификацию ITIL на практике Если вы только что сдали сертификационный экзамен ITIL Foundation или еще не сдавали его и думаете о том, как наилучшим образом использовать свое обучение на рабочем месте, то эта статья для вас. Кроме того, если у вас квалификация по более старой версии ITIL, то части этой ...

Заворачиваем весь трафик ОС в Tor Все описанное в статье реализовано в виде инструмента Toroxy, доступного на GitHub В последнее время анонимность в сети является предметом горячих споров. Ни для кого не секрет, что данные о посещениях Интернет-ресурсов с локального устройства могут собираться на разных у...

Magento 2: импорт продуктов прямо в базу В предыдущей статье я описал процесс импорта продуктов в Magento 2 обычным способом — через модели и репозитории. Обычный способ отличается весьма низкой скоростью обработки данных. На моём ноутбуке выходило примерно один продукт в секунду. В данном продолжении я рассматрива...

Boeing вошел в управляющий совет корпоративной блокчейн-сети Hedera Hashgraph Крупнейший аэрокосмический концерн Boeing вступил в управляющий совет корпоративной блокчейн-сети Hedera Hashgraph. Как пишет CoinDesk, компания стала десятым членом совета, присоединившись к FIS Global, Tata Communications, Nomura Holdings, IBM и другим его участникам. Реше...

Google пытается превратить Google Фото в Instagram? Зачем Google пытается скопировать Instagram? Google Фото — это довольно удобный инструмент для управления своей коллекцией фотографий и видеозаписей, позволяющий редактировать снимки и упорядочивать свою коллекцию. Однако совсем недавно в своем твиттер-аккаунте предста...

Построение процессов с нуля: от хаоса к порядку В этой статье я расскажу про построение рабочих процессов в небольшом отделе, занимающемся веб-разработкой. Отдел был сформирован с нуля и сразу начал автономную работу, поэтому нам пришлось самостоятельно выстраивать производственные процессы, наступать на всевозможные гр...

[Из песочницы] Анализ эмоциональной окраски отзывов с Кинопоиска Вступление Обработка естественного языка (NLP) является популярной и важной областью машинного обучения. В данном хабре я опишу свой первый проект, связанный с анализом эмоциональной окраски кино отзывов, написанный на Python. Задача сентиментного анализа является довольно р...

[Перевод] Грязные хаки ассемблера 6502 В этой статье перечислены некоторые трюки, которые применяли участники моего маленького конкурса программирования Commodore 64. Правила конкурса были просты: создать исполняемый файл C64 (PRG), который рисует две линии, чтобы сформировать изображение ниже. Побеждал тот, чей ...

Дистанционная магистратура за границей: заметки перед диссертацией Пролог Существует несколько статей, например Как я поступил на дистанционное образование в магистратуру Walden (США), Как поступить в магистратуру в Англии или Дистанционное обучение в Stanford University. Все они обладают одним недостатком: авторы делились ранним опытом обу...

Разработка команды запроса данных из базы В настоящий момент занимаюсь реализацией взаимодействия с поставщиком KYC услуг. Как обычно ничего космического. Нужно просто выбрать из своей базы данных некий достаточно объемный комплект экземпляров различных записей, выгрузить их поставщику услуг и попросить поставщика з...

[Перевод] Создание системы боёв в RPG Боевые системы наших игр Rimelands: Hammer of Thor и Trulon: The Shadow Engine были высоко оценены игроками. Несмотря на то, что это два сильно отличающихся взгляда на систему боя в RPG, они имеют много общего в дизайне механик и иллюстрируют мою личную философию дизайна. В...

[Из песочницы] Что такое автоматизированное машинное обучение (AutoML) Что такое автоматизированное машинное обучение (AutoML) и собирается ли оно лишить специалистов по данным (Data Scientists) работы? С того момента как стали появляться инструменты автоматизированного машинного обучения (AutoML), такие как Google AutoML, эксперты обсуждают ...

Национальные системы наблюдения Китая: источник не только данных, но и стабильный доход На Хабре довольно часто публикуются статьи и новости о системах наблюдения за гражданами, которые активно используются в Китае. В самом деле, эта страна впереди планеты всей относительно отслеживания того, чем заняты жители городов (в меньшей мере сел). Помня о населенност...

Свежее обновление OxygenOS для OnePlus 6/6T с глубокой интеграцией Google Duo OnePlus начал развертывание последнего обновления OxygenOS 9.0.4 для OnePlus 6 и OxygenOS 9.0.12 для OnePlus 6T. Несмотря на то, что два обновления имеют разные названия, они на самом деле содержат один и тот же журнал изменений, за исключением того, что OnePlus 6T получает ...

Chrome для Android стал еще больше похож на старшую версию. Вышло важное обновление Компания Google выпустила обновление браузера Google Chrome за версией 73 для мобильных устройств, которые работают под управлением операционной системы Android. Пока что мобильная версия не получила ночную тему, которая все еще находится в стадии тестирования, однако G...

Эта нейросеть знает, как вы будете выглядеть через 50 лет. Как она работает? Не секрет, что сейчас нейросети чаще всего используются в фотографии. Мы уже видели, как они способны работать с анимацией на обычном компьютере, а картины, написанные искусственным интеллектом, уходят с молотка дороже произведений именитых художников. Неудивительно, что им...

Ivideon запустил решение для подключения любых систем видеонаблюдения к видеоаналитике Облачный сервис видеонаблюдения Ivideon запустил кроссплатформенное решение Ivideon Bridge. Небольшое устройство способно модернизировать системы видеонаблюдения предыдущих поколений: подключить подавляющее большинство камер и видеорегистраторов к современной инфраструктуре ...

Летние программы на 2019 год для обучения подростков программированию за рубежом Хотя за окном еще горы снега и мороз, тем не менее многие родители (а иногда и сами подростки) начинают задумываться, чем занять чадо во время длинных летних каникул. Если вы считаете, что летом дети расслабляются настолько сильно, что осенью им крайне тяжело включиться в уч...

Построение отказоустойчивого решения на базе Oracle RAC и архитектуры AccelStor Shared-Nothing Немалое число Enterprise приложений и систем виртуализации имеют собственные механизмы для построения отказоустойчивых решений. В частности, Oracle RAC (Oracle Real Application Cluster) представляет собой кластер из двух или более серверов баз данных Oracle, работающих совме...

RFID-метки помогли «слепым» роботам точно определить положение объекта Чаще всего роботы с манипуляторами, способные находить и использовать различные объекты, распознают их с помощью компьютерного зрения - алгоритмов обработки изображений, которые умеют выделять предметы на общем фоне и узнавать их, например, с помощью сверточной нейросети. Не...

10 материалов о необычных музыкальных инструментах и нетипичных способах извлечения звука В качестве чтения на выходные мы хотели бы предложить вам наиболее популярные материалы нашего «Мира Hi-Fi». Сегодняшний топ-10 посвящен необычным музыкальным инструментам. Здесь есть исторические разборы и статьи о технологиях, предвосхитивших современные семплеры, нейронн...

Security Week 47: нетривиальные уязвимости В прошлом году у нас уже был дайджест про нетривиальные атаки. Тогда речь шла про DoS-атаку на ПК через акустическое воздействие на жесткий диск и кражу пользовательских данных через хак со стилями CSS. А на прошлой неделе как раз было опубликовано два исследования про уязви...

[Из песочницы] GridmiAPI — простая и гибкая библиотека Android для работы с REST&RPC Здравствуйте, хабровчане! Когда занимаешься разработкой сетевых приложений под платформу Android, понимаешь, что одно и другое приложение похоже друг на друга. С этой мыслью у большинства разработчиков инициализируется и другая мысль — «Почему бы мне не использовать какие-л...

[Из песочницы] Как мы создали рекомендательный сервис по подбору одежды на нейронных сетях В этой статье я хочу рассказать о том, как мы создали систему поиска похожей одежды (точнее одежды, обуви и сумок) по фотографии. То есть, выражаясь бизнес-терминами, рекомендательный сервис на основе нейронных сетей. Как и большинство современных IT-решений, можно сравни...

[Из песочницы] Краткий разбор статьи «DeViSE: A Deep Visual-Semantic Embedding Model» Рассматриваемая статья. Введение Современные распознавательные системы лимитированы классифицировать на относительно не большое количество семантически не связанных между собой классов. Привлечение текстовой информации, даже несвязанной с картинками, позволяет обогатить моде...

Google Pixel 4 XL против iPhone 11 в тесте автономности Канал PhoneBuff выделяется среди других подобных тем, что проводит тесты смартфонов при помощи роботизированных манипуляторов, что позволяет более точно оценивать скорость работы устройств. Новый тест источника связан не с производительностью, а с автономностью. И в да...

[Из песочницы] Настройка reverse proxy для Nextcloud и ONLYOFFICE Привет, Хабр! Я занимаюсь тестированием редакторов документов ONLYOFFICE, а также тестированием интеграции редакторов в сторонние сервисы. К нам часто обращаются пользователи с различными проблемами при настройке, решения которых просто так не найти. Одна из самых популярных...

Начало работы со службой «Машинное обучение Azure» с использованием пакета SDK для Python В рамках этой статьи будет использоваться пакет SDK для Машинного обучения Azure для Python 3 для создания и применения рабочей области Службы машинного обучения Azure. Эта рабочая область — основной блок в облаке для экспериментов, обучения и развертывания моделей машинного...

[Из песочницы] Пример простой нейросети на С/C++ Всем привет. Решил поделиться простым и ёмким на мой взгляд решением нейронной сети на С++. Почему эта информация должна быть интересна? Ответ: я старался в минимальном наборе запрограммировать работу многослойного перцептрона, да так, чтобы его можно было настраивать ка...

[Из песочницы] Мечтают ли нейросети о Джоконде? Я хотел бы, не вдаваясь в технические детали, немного коснуться вопроса о том могут ли нейронные сети достичь чего-нибудь значимого в искусстве, литературе, и является ли это творчеством. Техническую информацию, легко отыскать, существуют и известные приложения, для примера....

МТС запускает новую IoT-платформу Платформа вертикальных IoT-решений МТС позволяет управлять цифровым предприятием или элементами умного города, даже если они используют для подключения к интернету различные протоколы. Решение реализовано на платформе Nokia IMPACT IoT, установленной на сети МТС, и рассчитано...

Много иероглифов – много нейросетей: как построить эффективную систему распознавания для большого числа классов? В прошлых статьях уже писали о том, как у нас устроены технологии распознавания текста: Навигатор по серии постов Распознавание текста в ABBYY FineReader (1/2) Распознавание текста в ABBYY FineReader (2/2) Примерно так же до 2018 года было устроено распознавание японских и ...

Обучение локализации в Вашингтонском университете В этой статье Sub Lead Localization Manager компании Plarium Krasnodar Эльвира Шарипова рассказывает о том, как она проходила онлайн-обучение по программе Localization: Customizing Software for the World. Зачем матерому локализатору становиться студентом? Какие сложности ожи...

Liveprof покажет, когда и почему менялась производительность вашего PHP-приложения Привет, Хабр! Меня зовут Тимур Шагиахметов, я PHP-разработчик в Badoo. Производительность приложения — один из важнейших критериев качества работы программиста. В вопросах оптимизации PHP-приложений помощником является профайлер. Недавно мы рассказывали о том, какими и...

Горизонтальное масштабирование и отказоустойчивость Redis для сервисных служб DirectumRX Redis – это система управления базами данных класса NoSQL (не реляционные СУБД), размещаемых целиком в оперативной памяти. Для доступа к данным используется модель «ключ» — «значение». Такая СУБД используется зачастую для хранения кэшей в масштабируемых сервисах, для хранени...

Что чище для экологии: обучение модели ИИ или пять автомобилей? Область искусственного интеллекта часто сравнивают с нефтедобывающей промышленностью: после добычи и переработки данные, как и нефть, могут стать очень прибыльным товаром. Однако теперь становится очевидно, что эта метафора расширяется. Как и ископаемое топливо, процесс глу...

Машинное обучение vs. аналитический подход Какое-то время назад мы нашли свои старые материалы, по которым обучали первые потоки на наших курсах машинного обучения в Школе Данных и сравнили их с теперешними. Мы удивились, сколько всего мы добавили и поменяли за 5 лет обучения. Осознав, почему мы это сделали и как, ...

Tesla представила очень мощные модульные батареи для хранения солнечной энергии По мере развития сферы производства так называемой «зеленой энергии» (солнечной и ветряной), рынок начинает нуждаться в новых решениях, позволяющих хранить эту энергию в больших объемах. Около двух лет назад мы писали о том, как компания Tesla фактически на спор за 100 дней...

[Перевод] 1.1 миллиард поездок на такси: 108-ядерный кластер ClickHouse Перевод статьи подготовлен специально для студентов курса «Data Engineer». ClickHouse — это колоночная база данных с открытым исходным кодом. Это великолепная среда, где сотни аналитиков могут быстро запрашивать развернутые данные, даже когда вводятся десятки миллиардов но...

[Перевод] Нейросети и глубокое обучение: онлайн-учебник, глава 6, ч.2: недавний прогресс в распознавании изображений Содержание Глава 1: использование нейросетей для распознавания рукописных цифр Глава 2: как работает алгоритм обратного распространения Глава 3: ч.1: улучшение способа обучения нейросетей ч.2: почему регуляризация помогает уменьшать переобучение? ч.3: как выбрать гиперпара...

Представлена 7-нанометровая SoC Kirin 810 Сегодня Huawei анонсировала не только смартфоны серии Nova 5, но и новую однокристальную систему Kirin 810. Как и Qualcomm Snapdragon 855, Apple A12 и Kirin 980, новая SoC Kirin 810 производится по 7-нанометровому технологическому процессу. Поэтому Huawei стала единств...

Фиксацией нарушений ПДД в Москве займётся нейросеть Столичный Центр организации дорожного движения (ЦОДД) начал использовать нейронную сеть в составе системы фиксации нарушений ПДД. Об этом сообщает ТАСС со ссылкой на информацию, полученную от представителей государственного учреждения. Использование искусственного и...

Разворачиваем распределенное хранилище CEPH и подключаем его к Kubernetes Часть 1 Разворачиваем среду для работы с микросервисами. Часть 1 установка Kubernetes HA на bare metal (Debian) Здравствуйте, уважаемые читатели Хабра! В прошлой публикации я рассказал, как развернуть отказоустойчивый кластер Kubernetes. Но дело в том, что в Kubernetes удоб...

Управление параметрами в бизнес-приложениях по аналогии с системой контроля версий В различных приложениях регулярно возникает задача по поддержке логики изменения во времени некоторого атрибута объекта относительно некоторого субъекта (или субъектов). Например, это может быть изменение розничной цены товара в магазинах или показателей KPI для сотруднико...

Backend United #5: Шаурма — микросервисы, распределенные системы и Кафка Привет! 7 декабря в офисе Авито пройдёт пятый митап в серии Backend United, получивший название «Шаурма». Эта встреча ориентирована на архитекторов и на разработчиков. О чём хотим поговорить? Многие компании рано или поздно переезжают с монолита на микросервисы. Помимо очеви...

Анонсы конференции Microsoft Ignite 2019 · Azure Arc. Запуск предварительной версии решения для создания интегрированных гибридных сред. Azure Arc предоставляет возможность использовать единые сервисы, средства управления и инструменты обеспечения безопасности Azure в любой инфраструктуре, включая обл...

Что особенного в Cloudera и как ее готовить Рынок распределенных вычислений и больших данных, если верить статистике, растет на 18-19% в год. Значит, вопрос выбора софта для этих целей остается актуальным. В этом посте мы начнем с того, зачем нужны распределенные вычисления, подробней остановимся на выборе ПО, расскаж...

Adobe видит в ARM архитектуру «всевластия» и даже мечтает о собственном процессоре Некоторое время назад Adobe провела домашнюю конференцию, на которой главный технолог компании Абхай Параснис (Abhay Parasnis) где намёками, а где открыто обрисовал пути для дальнейшего развития компании. Начнём с конца. По твёрдому убеждению Абхая, когда-нибудь мы войдём в ...

Как перемещать, выгружать и интегрировать очень большие данные дёшево и быстро? Что такое pushdown-оптимизация? Любая операция с большими данными требует больших вычислительных мощностей. Обычное перемещение данных из базы на Hadoop может длиться неделями или стоить, как крыло самолёта. Не хотите ждать и тратиться? Сбалансируйте нагрузку на разные платформы. Один из способов – pushdow...

Adam-3600 — многофункциональный промышленный контроллер Контроллер Adam-3600 — универсальное устройство для дистанционного управления промышленными объектами, сбора данных, мониторинга и автоматизации процессов. Одновременно может выступать как устройство связи с объектом (УСО), устройство сбора и передачи данных (УСПД) и прогр...

[Перевод] Новое в Hadoop: познакомимся с различными форматами файлов в Hadoop Всем привет! Публикуем перевод статьи, подготовленный для студентов новой группы курса «Data Engineer». Если интересно узнать, как построить эффективную и масштабируемую систему обработки данных с минимальными затратами, посмотрите запись мастер-класса Егора Матешука! Неско...

Mindtech продемонстрирует масштабируемость ИИ-инструментов Chameleon Британский стартап Mindtech Global Ltd представил поддержку контейнерного формата, позволяющую сразу нескольким копиям его инструмента для генерирования искусственных данных Chameleon функционировать на кластерных платформах. Подобный подход обеспечивает возможност...

Сетевой мониторинг и выявления аномальной сетевой активности с помощью решений Flowmon Networks В последнее время в Интернете можно найти огромное кол-во материалов по теме анализа трафика на периметре сети. При этом все почему-то совершенно забыли об анализе локального трафика, который является не менее важным. Данная статья как раз и посещена этой теме. На примере ...

Пять важных аспектов обучения пользователей ITSM-инструмента Как помочь пользователям вашей ITSM-системы научиться использовать её наиболее эффективно? Ведь недостаточно просто выбрать и внедрить современный инструментарий для автоматизации в области управления ИТ-услугами. Помимо этого необходимо обеспечить получения от него максима...

Распределенная архитектура сети — альтернатива VPN Угрозы компрометации учетных записей и снижение производительности подталкивают организации к внедрению новых моделей безопасности сети. Александр Макмиллен, вице-президент поставщика сервисной платформы безопасности OPAQ, предлагает ...

Что нужно знать об интернете вещей: фундаментальный ликбез Об IoT говорят сегодня чуть ли не из каждого («умного») утюга. При этом в таких разговорах обычно пропускают базовые вещи: что такое интернет вещей, из чего он состоит, и кто может отвечать на эти вопросы на правах «уполномоченного органа». А между тем, вопросы эти весьма ...

Нейросеть научили распознавать редкие наследственные заболевания по фотографии Диагностировать наследственное заболевание зачастую бывает сложно. Существует несколько тысяч болезней, связанных с генетическими нарушениями, большинство из которых встречается крайне редко. Многие врачи за время своей практики могут просто не столкнуться с подобными заболе...

Искусственный интеллект MIT научился тренировать нейросети быстрее, чем когда-либо В попытке «демократизировать ИИ» ученые Массачусетского технологического института нашли способ использовать искусственный интеллект для гораздо более эффективного обучения систем машинного обучения — то есть, нейросетей. Они надеются, что новый алгоритм, позволяющий сэконо...

#видео | Paint эпохи искусственного интеллекта рисует реалистичные пейзажи с тенями и отражениями Уже несколько лет подряд разработчики из разных уголков мира демонстрируют нейронные сети, которые либо могут улучшить фотографии, либо нарисовать картинки с нуля. На калифорнийской конференции GTC 2019 группа NVIDIA Research показала нечто поистине удивительное — искусстве...

За всё ответишь! Consumer Driven Contracts глазами разработчика В этой статье мы расскажем про проблемы, которые решает Consumer Driven Contracts, покажем как это применять на примере Pact с Node.js и Spring Boot. И расскажем про ограничения этого подхода. Проблематика При тестировании продуктов часто используют сценарные тесты, в кот...

Новая линейка серверов для ЦОДов Мировая презентация новой линейки серверных систем DELL PowerEdge на базе процессоров AMD EPYC ROME прошла две недели назад в Риме. На этой неделе линейка, включающая пять моделей, была представлена в России. Для программно определяемых хранилищ (SDS) и гиперконвергентных си...

Все про теги в Finder на Mac Теги — отличный способ упорядочить данные и упростить их поиск. Теги автоматически появляются в боковом меню Finder, поэтому помеченные ими файлы легко найти независимо от их расположения. Вы можете помечать цветными тегами различные документы, например, фотографии, ко...

Как управлять телевизором при помощи смартфона Кому нужен пульт дистанционного управления, когда есть смартфон? Пульт от телевизора — это одна из тех вещей, которая постоянно теряется и для того, чтобы ее найти, нужно отодвигать предметы интерьера, смотреть не упал ли пульт под подушку, не залетел ли он под диван и...

Построение автоматической системы модерации сообщений Автоматические системы модерации внедряются в веб-сервисы и приложения, где необходимо обрабатывать большое количество сообщений пользователей. Такие системы позволяют сократить издержки на ручную модерацию, ускорить её и обрабатывать все сообщения пользователей в real-time...

Как мы обучили нейронную сеть классифицировать шурупы Нейронная сеть может опознать котика на фотографии, найти диван, улучшить видеозапись, нарисовать картинку из щенят или простого наброска. К этому мы уже привыкли. Новости о нейросетях появляются почти каждый день и стали обыденными. Компании Grid Dynamics поставили задачу н...

Антарктический комплекс ЕТРИС ДЗЗ начнет работу в апреле К 31 января 2019 года были завершены работы по установке антенного комплекса, радиопрозрачного укрытия, аппаратного контейнера. Начаты работы по настройке комплекса, в рамках которых успешно проведены тестовые сеансы по приему информации с научных спутников AQUA, TERRA. Такж...

Как я познакомился с OpenCV или в поисках ColorChecker Я учусь в CS центре в Новосибирске уже второй год. До поступления у меня уже была работа в IT — я работал аналитиком в Яндексе, но мне хотелось развиваться дальше, узнать что-то за пределами текущих задач и, по совету коллеги, я поступил в CS центр. В этой статье я хочу расс...

[recovery mode] Расширение (плагин) SketchUp для проектирования мебели программистом При расчете стоимости новой кухни цена оказалась такой большой, что я решил сделать её сам так как это обойдется в два раза дешевле. Для тренировки решил сделать для себя рабочий стол. Достаточно быстро пришло понимание: чтобы сделать хорошую вещь нужно сделать 3D модель. Эт...

Будущее инфраструктур центров обработки данных Архитектуры центров обработки данных общего назначения (такие ЦОДы сегодня все еще широко применяются) хорошо отрабатывали свои задачи в прошлом, но с недавних пор большинство из них достигли своих границ масштабируемости, производительности и эффективности. В архитектуре та...

В России появился блокчейн-конструктор для бизнеса На Петербургском международном экономическом форуме представили первую российскую блокчейн-платформу Jovi. ИТ-компания КРОК стала якорным партнером разработчика новой платформы - компании "Ноосфера", и будет использовать ее при работе над блокчейн-проектами для зак...

Разгоняем обработку событий до 1,6 миллионов в секунду Когда участники HighLoad++ пришли на доклад Александра Крашенинникова, они надеялись услышать про обработку 1 600 000 событий в секунду. Ожидания не оправдались… Потому что во время подготовки к выступлению эта цифра улетела до 1 800 000 — так, на HighLoad++ реальность прево...

Умная колонка Lily предназначена для изучения иностранных языков Создатели умной колонки Lily утверждают, что она является максимально эффективным устройством для тех, кто занимается изучением китайского языка. Якобы для того, чтобы быстрее выучить язык, чтение словарей и разговорников или использование приложений для мобильных устр...

[Перевод] Программная архитектура и проектирование систем: общая картина и путеводитель по ресурсам Здравствуйте, коллеги. Сегодня на ваш суд предлагается перевод статьи Тугберка Уруглу (Tugberk Uruglu), который взялся в сравнительно небольшом объеме изложить принципы проектирования современных софтверных систем. Вот что автор сообщает о себе в сухом остатке: Поскольку ...

Почему искусственный интеллект не умеет прогнозировать Работая в связке, большие данные и интернет вещей совершают настоящую революцию в бизнесе как торговых, так и производственных предприятий. Российские компании уже несколько лет активно оцифровывают бизнес, снимая с помощью датчиков данные с оборудования и переводя в цифрово...

Google представила инструмент для синхронного перевода речи с сохранением голоса и интонации Важной особенностью разработки стало то, что она позволяет переводить разговоры с сохранением голоса и интонации говорящего. При этом конвертация голоса в текст и обратно не производится, как в случае с "Google.Переводчиком". Translatotron пропускает этот этап и ра...

Машинное обучение в инвестиционной компании: классифицируем обращения в техническую поддержку В теории использование машинного обучения (ML) помогает сократить участие человека в процессах и операциях, перераспределять ресурсы и уменьшить затраты. Насколько это работает в условиях конкретной компании и сферы деятельности? Как показывает наш опыт — работает. На опред...

Первый программируемый компьютер на ДНК Экспериментальный протокол и реализация алгоритма сортировки на программируемом ДНК-компьютере Учёные давно ведут эксперименты с хранением информации в ДНК и с обработкой этой информации. Например, учёные из Вашингтонского университета и Microsoft недавно построили «первы...

Машинное обучение и обработка естественного языка объединяются для истолкования намерений людей Семантика на базе машинного обучения и обработки естественного языка расширит возможности аналитики, пишет …

Основы работы с Neo4j в браузере В статье рассматривается как начать работать с графовой СУБД Neo4j, используя Neo4j Browser. Это руководство может быть полезным как дополнение к книге Редмонда и Уилсона "Семь баз данных за семь недель", так как рассматриваемый веб-интерфейс был полностью переработан, а так...

Нахождение объектов без учителя (Unsupervised Object Detection) Одна из важнейших задач в машинном обучении — детектирование объектов (Object Detection). Недавно был опубликован ряд алгоритмов машинного обучения основанных на глубоком обучении (Deep Learning) для детектирования объектов. Эти алгоритмы занимают одно из центральных мест ...

[Перевод] Гид по параллельному масштабированию Amazon Redshift и результаты тестирования Мы в Skyeng пользуемся Amazon Redshift, в том числе параллельным масштабированием, поэтому статья Стефана Громолла, основателя dotgo.com, для intermix.io, показалась нам интересной. После перевода — немного нашего опыта от инженера по данным Данияра Белходжаева. Архитекту...

7 бесплатных курсов для разработчиков от Microsoft Привет, Хабр! Сегодня мы начинаем серию статей, в которую войдет 5 подборок бесплатных обучающих курсов от компании Microsoft. В этой статье у нас самые крутые курсы для разработчиков, которые сильнее всего нравятся программистам. Кстати! Все курсы бесплатные (вы даже смо...

Infortrend анонсирует новейшее поколение высокодоступных унифицированных хранилищ Компания Infortrend® Technology, Inc. (код TWSE: 2495), передовой провайдер корпоративных систем хранения данных, представляет унифицированное хранилище 4U с 60 отсеками, ориентированное на удовлетворение потребностей в обработке растущих объемов данных в ограничен...

TheOutloud — озвучивай и делись любимыми статьями и историями Привет всему сообществу, Habr! Уже некоторое время я являюсь вашим читателем и сегодня решил, что пришло время для моего первого поста здесь. Я давно хотел научиться программировать и последние пару месяцев проводил все свободное время, просматривая обучающие ролики на yout...

Сытые философы или конкурентное программирование на .NET Давайте посмотрим как устроено конкурентное и параллельное программирование в .Net, на примере проблемы обедающих философов. План такой, от синхронизации потоков/процессов, до модели акторов (в следующих частях). Статья может быть полезна для первого знакомства или для того...

[Перевод] Обновления ML.NET Model Builder ML.NET -- это кроссплатформенный фреймворк машинного обучения для .NET-разработчиков. А Model Builder -- это инструмент пользовательского интерфейса в Visual Studio, который использует Automated Machine Learning (AutoML), чтобы легко обучать и использовать пользовательские м...

85% компаний используют Интернет вещей Microsoft представила исследование IoT Signals, посвященное динамике внедрения Интернета вещей в компаниях из разных индустрий и стран мира[1]. Согласно его результатам, 85% организаций уже имеют как минимум один бизнес-проект в этой сфере, а к 2021 году эта цифра вырастет д...

Микросервисы. Версионность в системах непрерывной интеграции и развертывания CI/CD на примере использования TFS Проблематика Для больших и технически сложных проектов, над которыми как правило одновременно работают много распределенных команд, существует известная проблема версионности разрабатываемого ПО, которую разные компании решают по-разному. Читать дальше →

[Перевод] «Глубокое обучение с подкреплением. AlphaGo и другие технологии»: анонс книги Всем привет! У нас доступна для предзаказа одна из лучших книг по обучению с подкреплением, в оригинале именуемая "Deep Reinforcement Learning Hands-on" под авторством Максима Лапаня. Вот как будет выглядеть обложка русского перевода: Чтобы вы могли оценить краткое содер...

Стабильный источник высокого напряжения для питания ФЭУ Применение фотоэлектронного умножителя — это очень простой способ получить высочайшую чувствительность фотоприемника, вплоть до регистрации единичных фотонов при прекрасном быстродействии. А учитывая массу ФЭУ, выпущенных в СССР и до сих пор лежащих на складах, это еще и от...

С чего начать разработку архитектуры? Примечание: Если вы считаете, что на построении архитектуры съели хотя бы полпёсика, то эта статья не для вас. Модель — абстрактное представление реальности в какой-либо форме. Предполагаем, что архитектор уже закончил со сбором требований к будущей системе и их анализом. ...

[Перевод] Создаем конвейер потоковой обработки данных. Часть 1 Всем привет. Друзья, делимся с вами переводом статьи, подготовленным специально для студентов курса «Data Engineer». Поехали! Apache Beam и DataFlow для конвейеров реального времени Сегодняшний пост основан на задаче, которой я недавно занимался на работе. Я был действитель...

Xcode 11 и XCFrameworks: новый формат упаковки фреймворков В жизни многих компаний, которые имеют и развивают свой стек библиотек и компонентов, наступает момент, когда объёмы этого стека становится сложно поддерживать. В случае разработки под платформу iOS, да и в целом, экосистему Apple, есть два варианта подключать библиотеки в ...

Работаем с USB Custom HID на Android В современных Android — приложениях для взаимодействия с другими устройствами чаще всего используются беспроводные протоколы передачи данных, как например Bluetooth. В годы, когда часть устройств имеют беспроводную зарядку, сложно представить себе связку Android устройства ...

[Перевод] Уменьшение зависимости от размеченных данных у генеративно-состязательных сетей Генеративно-состязательные сети (ГСС) [Generative Adversarial Networks, GAN] – обладающий интересными возможностями класс глубоких генеративных моделей. Их основная идея – обучение двух нейросетей, генератора, который обучается синтезу данных (к примеру, изображений), и диск...

Стажировка в Mars Digital Technologies. Как мы применяли глубокое обучение на производстве M&M’s Всем привет! Ежегодно порядка 200 студентов и выпускников присоединяются к Mars в России в качестве стажеров или участников лидерской программы. Дмитрий Коржиманов, прошел стажировку в IT-хабе Mars этим летом. В нашем блоге Дмитрий рассказывает о проекте, над которым он р...

Почему искусственный интеллект предвзят? Что такое «предвзятость искусственного интеллекта» (AI bias)? С чем связано возникновение этого явления, и как с ним бороться? На эти вопросы попытались ответить эксперты научно-популярного журнала Harvard Business Review. Термин AI bias можно перевести как «необъективно...

Другой GitHub: репозитории по Data Science, визуализации данных и глубокому обучению (с) Гитхаб — это не просто площадка для хостинга и совместной разработки IT-проектов, но и огромная база знаний, составленная сотнями экспертов. К счастью, сервис предоставляет не просто инструменты для работы с открытым исходным кодом, но и качественные материалы для обуч...

[Из песочницы] Что происходит с интернетом «ТЕЛЕ-2» Привет всем, хабровчане! Собственно, к написанию этой статьи меня подтолкнули часто срабатывающие триггеры системы мониторинга Zabbix на падение скорости в сети «ТЕЛЕ-2». На удаленных объектах, к которым невозможно провести оптику, организован проброс портов регистратора че...

Hello, World! Глубокое погружение в Терминалы На написание данной статьи меня вдохновила статья об анализе Сишного printf. Однако, там был пропущен момент о том, какой путь проходят данные после того, как они попадают в терминальное устройство. В данной статье я хочу исправить этот недочет и проанализировать путь данны...

Техновыпуск Mail.ru Group 2019 В конце мая наши выпускники из Технопарка (МГТУ им. Баумана), Технотрека (МФТИ), Техносферы (МГУ им. Ломоносова) и Технополиса (СПбПУ Петра Великого) защитили свои дипломные проекты. На работу выделялось три месяца, и ребята вложили в свои детища знания и навыки, полученны...

Что такое Wi-Fi Direct и как его использовать на смартфоне под управлением Android Список функций наших Android-смартфонов довольно обширен, и некоторые из них могут запросто остаться незамеченными. Между тем они могут оказаться весьма и весьма полезными. Например, на практически каждом смартфоне имеется функция Wi-Fi Direct. Пару лет назад она наделала н...

[Перевод] Ищем свободное парковочное место с Python Я живу в хорошем городе. Но, как и во многих других, поиск парковочного места всегда превращается в испытание. Свободные места быстро занимают, и даже если у вас есть своё собственное, друзьям будет сложно к вам заехать, ведь им будет негде припарковаться. Поэтому я решил...

Nikon заинтересовалась машинным зрением и глубоким обучением Корпорация Nikon объявила об инвестициях в канадский стартап wrnch, который специализируется на разработке технологий машинного зрения и глубокого обучения. Фотографии Reuters Фирма wrnch была основана в 2014 году. Компания предлагает инструменты и комплекты для разработчико...

[Перевод] Анализ TSDB в Prometheus 2 База данных временных рядов (TSDB, time series database) в Prometheus 2 – это отличный пример инженерного решения, которое предлагает серьёзные улучшения в сравнении с хранилищем v2 в Prometheus 1 в плане скорости накопления данных и выполнения запросов, эффективности испо...

Пенсионный фонд и РЖД вооружаются блокчейном в борьбе с мошенничеством при покупке льготных билетов Из технического задания к проекту следует, что перевод взаимодействия на блокчейн предназначен для автоматизации процессов регистрации данных о поездках в пригородных поездах льготников и просмотра сумм компенсации за проезд заинтересованными участниками распределенного ...

Книга «Создание смарт-контрактов Solidity для блокчейна Ethereum. Практическое руководство» Больше года я работал над книгой «Создание смарт-контрактов Solidity для блокчейна Ethereum. Практическое руководство», и вот теперь эта работа завершена, а книга издана и доступна в Литресе. Надеюсь, моя книга поможет быстро приступить к созданию смарт-контактов Solidity ...

[Из песочницы] Использование Ansible, Terraform, Docker, Consul, Nomad в облаках (Алексей Вахов, Учи.ру) Учи.ру — онлайн-платформа для школьного образования, более 2 миллионов школьников, регулярно решают у нас интерактивные занятия. Все наши проекты хостятся полностью в публичных облаках, 100% приложений работают в контейнерах, начиная от самых маленьких, для внутреннего польз...

Нейронные сети научили превращать пиксельные изображения в фотореалистичные Недавно нам показали «ремейк» классического шутера 1997 года Quake II, где основная работа по улучшению была сведена к интеграции технологии трассировки лучей, но на этот раз в Сети появилось кое-что поинтереснее. Наконец-то, HD-ремейк, которого мы все ждали! Один из пользо...

Эволюция кластерного взаимодействия. Как мы внедряли ActiveMQ и Hazelcast В течение последних 7 лет я вместе с командой занимаюсь поддержкой и развитием ядра продукта RealtimeBoard: клиент-серверным и кластерным взаимодействием, работой с базой данных. У нас Java с разными библиотеками на борту. Запускается всё вне контейнера, через Maven-плагин....

[Перевод] Вся правда об ОСРВ. Статья #26. Каналы: вспомогательные службы и структуры данных В данной статье мы продолжим рассматривать каналы передачи данных. Вспомогательные службы каналов Nucleus RTOS имеет четыре вызова API, которые предоставляют вспомогательные функции, связанные с каналами: сброс канала, получение информации о канале, получение количества к...

[Перевод] Используем все возможности индексов в PostgreSQL В мире Postgres индексы крайне важны для эффективной навигации по хранилищу базы данных (его называют «куча», heap). Postgres не поддерживает для него кластеризацию, и архитектура MVCC приводит к тому, что у вас накапливается много версий одного и того же кортежа. Поэтому о...

Битва за числа К: телевизоры, опережающие время В рамках презентации 4 апреля новых моделей 8K и 4K QLED-телевизоров главный инженер подразделения визуальной информации Samsung Карлос Мин поделился некоторыми техническими подробностями. Новейшие телевизоры с разрешением 8K на данном этапе сталкиваются с теми же трудностям...

Новый производительный режим в смартфонах Samsung не делает ничего Современные оболочки для Android предлагают множество различных режимов работы, начиная со сверхэкономичных и заканчивая режимами повышенной производительности. Последний обычно заставляет CPU и GPU смартфона работать на максимальных частотах, независимо от температуры,...

Новый ИИ-диагност способен выявить недостаточность по единственному удару сердца Команда ученых под руководством Себастьяна Массаро из Университета Суррея (Британия) научила нейронную сеть распознавать признаки сердечной недостаточности в ЭКГ пациентов. Поражают точность и скорость работы диагностической системы – она ставит 100 % точный диагноз все...

Как соединить ваш телевизор и Android-смартфон На сегодняшний день бытовая и мобильная техника имеет массу портов, разъемов и беспроводных средств подключения. При этом любой интересующий фильм или телешоу (да или просто ролик на видеохостинге) можно найти в интернете. Но, согласитесь, куда удобнее наслаждаться видео ко...

WISE-PaaS — облачная платформа для промышленного интернета вещей WISE-PaaS — (Platform as a Service) облачная платформа Advantech для промышленного интернета вещей, объединяющая в себе различные инструменты для сбора, обработки, и визуализации данных, автоматизации, управления устройствами и системами искусственного интеллекта и машинно...

Найден способ превращать мысли в устную речь. Говорить для этого не обязательно Паралич — довольно страшное состояние, при котором часть, если так можно выразиться, «физиологических» функций становится человеку неподконтрольна при том, что на уровне центральной нервной системы все может быть в порядке. Над лечением этого состояния ученые бьются у...

Какие виды детекции полезны в видеонаблюдении. Механизмы и функции Сигнал извещения при обнаружении движения (детекция) в поле зрения камеры – это базовая функция, без которой невозможно представить современную систему видеонаблюдения. Однако даже у этой простой и понятной для пользователя функции есть множество нюансов, влияющих на стоим...

Знакомство с Neural ODE Neural Ordinary Differential Equations Значительная доля процессов описывается дифференциальными уравнениями, это могут быть эволюция физической системы во времени, медицинское состояние пациента, фундаментальные характеристики фондового рынка и т.д. Данные о таких процессах...

Еще одна система мониторинга 16 модемов, 4 сотовых оператора= Исходящая скорость 933.45 Мбит/с Введение Привет! Это статья про то, как мы написали для себя новую систему мониторинга. От существующих она отличается возможностью высокочастотного синхронного получения метрик и очень маленьким потребление...

Garbage Collector. Полный курс + перевод из BOTR В данной статье вы встретите сразу два источника информации: Полный курс по работе Garbage Collector на русском языке: CLRium #6 (текущий семинар здесь) Перевод статьи из BOTR "Устройство сборщика мусора" от Маони Стевенс. Читать дальше →

Microsoft хочет выпустить мобильные ПК Surface с процессорами AMD и однокристальными системами с архитектурой Arm Источник утверждает, что этой осенью компания Microsoft представит новые мобильные ПК линейки Surface. Интересно то, что среди них якобы будут модели, основанные на процессорах AMD. Если точнее, то на APU Ryzen 3000. Такие процессоры может получить новая модель Surface ...

Запуск на Эльбрусе платформы для нейросетей PuzzleLib ИИ на отечественном железе Рассказываем о том, как мы портировали свой фреймворк для нейронных сетей и систему распознавания лиц на российские процессоры Эльбрус. Это была интересная задача, весной 2019 года мы рассказывали об этом в офисе Яндекса на большом митапе про Э...

[Перевод] Распределенные системы. Паттерны проектирования. Обзор книги Здравствуйте, коллеги. Сегодня мы публикуем перевод очередного обзора с сайта Бена Нейдела — этот сайт наверняка заинтересует вас и в оригинале. На сей раз мы поговорим о книге "Распределенные системы. Паттерны проектирования", которая дополняет вышедшую у нас в начале этого...

Как устроена система видеонаблюдения Ivideon: обзор мобильного приложения В прошлый раз мы говорили о десктопном приложении для нашего сервиса видеонаблюдения. Тема сегодняшнего материала — мобильные приложения. Покажем возможности, поговорим о UI и функциях системы, адаптированной для работы с мобильными устройствами. Приложение в смартфоне или ...

Близится выход смартфона Samsung Galaxy A50 Еще в начале декабря в базе данных популярного тестового пакета Geekbench был замечен новый смартфон с модельным номером Samsung SM-A505FN. Теперь это же устройство появилось в базе данных организации Wi-Fi Alliance, которая занимается сертификацией устройств с поддержк...

Разворачиваем Kubernetes на десктопе за несколько минут с MicroK8s Начать работать с Kubernetes не всегда бывает просто. Не у всех есть необходимая для разворачивания полноценного кластера Kubernetes инфраструктура. Для локальной работы Kubernetes предлагет утилиту Minikube. Minikube — достаточно простое и удобное средство, и есть несколько...

Самовосстанавливающаяся платформа ITSM Искусственный интеллект (AI), машинное обучение (ML) и обработка естественного языка (NLP) — одни из самых передовых технологий в управлении ИТ-услугами. Эти технологии помогают компаниям оптимизировать управление услугами путем автоматизации бизнес-процессов и з...

Intel представляет Pohoiki Beach, крошечный суперкомпьютер Intel провела презентацию на саммите DARPA в Детройте, представив проект Pohoiki Beach - кластер из 64 микросхем Loihi компании, объединенных в сеть на плате Nahuku, способных имитировать способности самообучения восемь миллионов нейронов. Система способна обрабатывать инф...

[Перевод] Нейросеть в стекле. Не требует электропитания, распознаёт цифры Все мы знакомы с такой способностью нейронных сетей, как распознавание рукописного текста. Основы этой технологии существуют уже много лет, но, лишь относительно недавно, скачок в области компьютерных мощностей и параллельной обработки данных позволили сделать из этой техно...

Команда cp: тонкости копирования папок с файлами в Linux В этой статье будут раскрыты некоторые неочевидные вещи связанные с использованием wildcards при копировании, неоднозначное поведение команды cp при копировании, а также способы позволяющие корректно копировать огромное количество файлов без пропусков и вылетов. Допустим ...

Huawei выпустила свою первую СУБД В Huawei называют свой продукт первой СУБД со встроенными функциями искусственного интеллекта от производителя (AI-Native), а также первой корпоративной СУБД с поддержкой процессорной архитектуры ARM.Новое решение первым внедряет искусственный интеллект в полный жизненный ци...

Новый интерфейс свяжет мозг с облаком уже в этом столетии Представьте себе технологию будущего, которая обеспечит мгновенный доступ к мировым знаниям и искусственному интеллекту буквально по желанию, если подумать о чем-то конкретном. Коммуникации, образование, работа и мир, каким мы его знаем — изменится все. Международная группа...

Бюджетный прорыв. Представлен первый в мире встроенный в экран дактилоскоп для LCD Пока сканеры отпечатков пальцев, встроенные прямо в экран, используются во флагманских  и смартфонах «высшего» среднего уровня. Для этого производители вынуждены использовать экраны OLED.  Свет, пропускаемый экраном OLED используется, чтобы «...

[Перевод] Храним SSH-ключи безопасно Хочу рассказать как безопасно хранить SSH-ключи на локальной машине, не боясь за то, что какое-то приложение может украсть или расшифровать их. Статья будет полезна тем, кто так и не нашел элегантного решения после паранои в 2018 и продолжает хранить ключи в $HOME/.ssh. Для...

Революционная камера Samsung Galaxy S11 скопирует технологию Deep Fusion у iPhone 11 Pro Известный сетевой информатор под ником Ice Universe, который часто делится эксклюзивной информацией о новинках мобильной индустрии, затронул тему функции Deep Fusion в новом смартфоне iPhone 11 Pro. Напомним, после выхода смартфона Apple обещает выпустить обновление, ко...

Превращаем робот-пылесос в универсального солдата Все началось с увлечения глубоким обучением, нейронными сетями и далее по списку. Я посмотрел пару курсов, поучаствовал в соревновании на Kaggle… "чем бы еще заняться?". Тут мимо как раз по своим делам проползал робот-пылесос (Xiaomi Vacuum Cleaner V1) и подкинул интересную ...

NASA проведет на МКС испытания рентгеновской системы передачи сообщений Радиоволны по-прежнему являются основным способом связи с космическими аппаратами, однако устаревающая технология вскоре может получить обновление, которое позволит передавать информацию между Землей и космосом гораздо быстрее. Для этого аэрокосмическое агентство NASA в рам...

LEGO MINDSTORMS Education EV3 + MicroPython: программируем детский конструктор взрослым языком Привет, Хабр! Мы уже рассказывали о платформе LEGO MINDSTORMS Education EV3. Основные задачи этой платформы — обучение на практических примерах, развитие навыков STEAM и формирование инженерного мышления. В ней можно проводить лабораторные работы по изучению механики и динам...

[Из песочницы] JavaScript: Создание простого MEVN-приложения О чем статья Цель этой статьи — показать, как можно создать базовое MEVN-приложение. Акроним MEVN означает — MongoDB + Express.js + Vue.js + Node.js. В качестве примера будет написано одностраничное приложение, которое содержит форму, состоящую из нескольких текстовых полей....

[Из песочницы] Микросервисная архитектура = распределенные вычисления Приветствую всех читателей Хабра! Меня зовут Игорь Рыбаков и я технический директор в казахстанской IT-компании DAR. Сегодня я поделюсь с вами пониманием и использованием принципов параллельных вычислений в современных информационных системах. Чтобы глубже разобраться в этом...

[Из песочницы] Нейронные сети для трекинга рук в режиме реального времени Недавно исследователи из GoogleAI показали свой поход к задаче трекинга руки и определения жестов в реальном времени. Я как раз занимался подобной задачей и потому решил разобраться с тем как они подошли к решению, какие технологии они использовали, и как добились хорошей то...

FiiO представила музыкальный проигрыватель высокого разрешения - M6 FiiO выпустила новый музыкальный плеер высокого разрешения - M6. Он поддерживает потоковую передачу по Wi-Fi, поддержку аудио Hi-Res Bluetooth и новую технологию, известную как FiiO Link, которая позволяет удаленно управлять DAP через приложение FiiO Music на вашем смартфоне...

Новый алгоритм работает как дата-сайентист Сбербанк создал новую модель машинного обучения Auto ML, сообщил на Российском инвестиционном форуме заместитель Председателя Правления Сбербанка Анатолий Попов.Auto ML - алгоритм, который умеет создавать другие модели. А они, в свою очередь, уже решают прикладные задачи - н...

[recovery mode] Сократить время вычислений от нескольких лет до минут. Разбираемся с квантовым машинным обучением Я давно интересуюсь квантовыми вычислениями и пишу программы для 5-ти и 14-кубитных квантовых компьютеров IBM Q Experience. Сегодня я расскажу о технологиях, которые можно будет применять в машинном обучении после того, как квантовые вычисления завоюют мир. Спойлер для дата ...

[Перевод] Как уменьшить использование памяти и ускорить работу кода на Python с помощью генераторов Всем привет. Сегодня хотим поделиться одним полезным переводом, подготовленным в преддверии запуска курса «Web-разработчик на Python». Писать код эффективный по времени и по памяти на Python особенно важно, когда занимаешься созданием Web-приложения, модели машинного обучени...

Обработка исключений ASP.NET при помощи IRO.Mvc.MvcExceptionHandler Если вы являетесь c# бекенд разработчиком, наверняка рано или поздно появилась необходимость найти унифицированный способ обработки исключительных ситуаций. Хотя, даже если вы довольствуетесь кодом 500 в ответе, эта статья все равно поможет улучшить ваш способ, при этом не...

[Перевод] Sketch + Node.js: генерируем иконки для множества платформ и брендов Нет ничего проще, чем добавить иконку в проект: нужно всего лишь написать дизайнеру, он экспортирует её из Sketch и пришлет вам нужный вариант, а вы используете ее у себя в коде. Если же у вас с десяток проектов, несколько платформ и множество А/Б-тестов на дизайн, то дост...

Android 10, 108 Мп и 5G за $500 – это Samsung Galaxy A71 В Сети появились новые подробности о смартфоне Samsung A71. Ранее мы уже писали о том, что корейская компания работает над этой моделью, и вот сейчас источник опубликовал в Twitter больше данных о нем. Samsung A71 фигурирует под двумя обозначениями: SM-A7160 – для...

[Перевод] Delta-OMA (D-OMA): новый метод массового множественного доступа в 6G. Часть 1 До запуска курса «Сетевой инженер» остаются считанные дни. В связи с этим хотим поделиться с вами первой частью материала по теме «Delta-OMA (D-OMA): новый метод массового множественного доступа в 6G». Поехали. Аннотация — Новый метод множественного доступа, а именно дельта...

Проблемы масштабирования БД в высоконагруженных системах На прошлом внутреннем митапе Pyrus мы говорили о современных распределенных хранилищах, а Максим Нальский, CEO и основатель Pyrus, поделился первым впечатлением от FoundationDB. В этой статье рассказываем о технических нюансах, с которыми сталкиваешься при выборе технологии ...

[Перевод] Grasp2Vec: обучение представлению объектов через захват с самостоятельным обучением Люди с удивительно раннего возраста уже способны распознавать свои любимые объекты и поднимать их, несмотря на то, что их специально этому не учат. Согласно исследованиям развития когнитивных способностей, возможность взаимодействия с объектами окружающего мира играет крит...

Samsung готовится к дебюту нового чипа Exynos Центральный процессор отвечает за вычислительные операции, а также он занимается обработкой информации. В основном от чипа зависит производительность всей системы, но есть и другие факторы, которые оказывают влияние на итоговую мощность. Именно модель чипсета играет не после...

Блокчейн Credits обеспечит сохранность исторических документов Объявлено о запуске совместного проекта издательства “ТрансРоссика” Ассоциации “Столыпинский Центр” и блокчейн-платформы Credits. Проект предусматривает хранение данных и исторических документов в блокчейне Credits. Целью проекта, запущенного издательством “ТрансРосс...

МТС интегрирует стартапы в сфере HR, Esports и FinTech в ключевые бизнес-направления Стартапы, чей пилот пройдет успешно, будут претендовать на его масштабирование в рамках долгосрочного контракта с компанией. МТС также рассмотрит возможность инвестиций в наиболее эффективные проекты.Финалисты третьего набора акселератора:HR-трекSpeakerGuru - сервис, который...

Huawei официально представила новую «распределенную ОС» Harmony для всех типов устройств Как и ожидалось, компания Huawei представила собственную операционную систему под названием Harmony (Hongmeng). Она будет распространяться по свободной лицензии, поэтому использовать ее сможет каждый желающий. Главная особенность новой ОС — микроядро, которое отвечает за ба...

HTC будет транслировать приложения по беспроводной сети с ПК на VR В этом году HTC предоставит Vive Focus Plus возможность осуществлять беспроводную потоковую передачу содержимого ПК на автономную гарнитуру vr с помощью Viveport Streaming. Соединение через WiFi и требует подписку на Viveport Infinity. На данный момент Vive Focus Plus може...

Первые подробности о флагманской платформе Snapdragon 865 Сейчас подавляющее большинство заметных флагманов выпускается с системами на чипе от Qualcomm. Есть много тех, кто считает платформы Snapdragon из 800 серии безальтернативными вариантами для премиум-устройств. На данный момент пальму первенства во флагманских андроидофонах д...

Министерство обороны РФ тестирует «военный интернет» Ни для кого не секрет, что военные и спецслужбы для своих целей используют выделенные и сверх защищенные каналы связи для обмена данными. И в это сфере регулярно проходят испытания новых технологий. К примеру, совсем недавно российская армия в рамках плановых учений опробов...

Телекоммуникации (16.02–15.03.2019) Yota реализовала систему кэширования на платформе Tarantool, проект Mail.Ru Group, для повышения скорости работы с данными о пользователях...

Все материалы на данном сайте взяты из открытых источников или присланы посетителями сайта и предоставляются исключительно в ознакомительных целях. Права на материалы принадлежат их владельцам. Администрация сайта ответственности за содержание материала не несет. (Правообладателям)