Социальные сети Рунета
Понедельник, 18 октября 2021

Модерация текста: уроки этикета от Data Scientist’a Привет, Хабр! С этой статьи мы начинаем публикацию серии статей про Data Science задачи, которые мы решаем в Центре Развития Финансовых Технологий Россельхозбанка. В прошлом году Россельхозбанк объявил о создании и развитии экосистемы для предприятий агропромышленного ...

Вакансия: Теплица и платформа «Теплосеть» ищут комьюнити-менеджера с навыками SMM Теплица социальных технологий и образовательная платформа «Теплосеть» ищут комьюнити-менеджера с навыками SMM.  Мы ищем человека, который будет развивать сообщество Теплицы и «Теплосети», а также частично вести соцсети платформы «Теплосеть».  Работа удаленная, неполна...

WuDao 2.0 - новая китайская система искусственного интеллекта, превосходящая по сложности системы Google и OpenAI Представители Пекинской Академии искусственного интеллекта (Beijing Academy of Artificial Intelligence, BAAI) объявили на прошлой неделе о завершении разработки новой системы искусственного интеллекта, которая стала самой сложной на сегодняшний день системой для обработки ес...

Вакансия: Теплица и платформа «Теплосеть» ищет коммьюнити-менеджера с навыками SMM Теплица социальных технологий и образовательная платформа «Теплосеть» ищет коммьюнити-менеджера с навыками SMM.  Мы ищем человека, который будет развивать сообщество Теплицы и Теплосети, а также частично вести соцсети платформы «Теплосеть».  Работа удаленная, неполная...

Разработкой принципиально новых нейронных сетей занимаются пензенские ученые В сфере технологического развития Россия ставит перед собой задачу выращивания национальных чемпионов, в том числе вокруг цифрового развития государства, и импортозамещения зарубежных IT-технологий. Сегодня в списке ключевых трендов рынка систем безопасности обосновались и п...

Facebook внес существенные изменения в пользовательскую модерацию Модерация пользователей в социальной сети Facebook существенно изменилась. О нововведениях компания объявила на своём официальном сайте.

[Из песочницы] Драйвер-фильтр операций в реестре. Практика Привет, Хабр! Когда передо мной встала задача написать свой драйвер, осуществляющий мониторинг операций в реестре, я, конечно же, полезла искать на просторах интернета хоть какую-то информацию по этому поводу. Но единственное, что вылезало по запросу «Драйвер-фильтр реестра...

Как мы считаем людей с помощью компьютерного зрения Фото из открытых источников Массовые скопления людей создают проблемы в самых разных областях (ритейл, госслужбы, банки, застройщики). Заказчикам необходимо объединять и мониторить информацию о количестве людей во множестве мест: в офисах обслуживания, административных пом...

Ученые из России разработали уникальный алгоритм быстрого обучения сетей квадратичных нейронов В сфере технологического развития Россия ставит перед собой задачу выращивания национальных чемпионов, в том числе вокруг цифрового развития государства, и импортозамещения зарубежных IT-технологий. Сегодня в списке ключевых трендов рынка систем безопасности обосновались и п...

«ПроДокторов»: как устроена модерация на узкоспециализированной площадке отзывов

Поиск изображений с помощью AffNet Перед нами стояла задача сравнения изображений (image matching) для поиска изображения максимально подобного данному изображению из коллекции. В этой статье я расскажу как мы использовали для этой задачи подход на основе нейронных сетей под названием AffNet. Кому интересно, ...

Проект Natasha. Набор качественных открытых инструментов для обработки естественного русского языка (NLP) Два года назад я писал на Хабр статью про Yargy-парсер и библиотеку Natasha, рассказывал про решение задачи NER для русского языка, построенное на правилах. Проект хорошо приняли. Yargy-парсер заменил яндексовый Томита-парсер в крупных проектах внутри Сбера, Интерфакса и РИА...

Российские ученые разработали уникальный алгоритм быстрого обучения сетей квадратичных нейронов В сфере технологического развития Россия ставит перед собой задачу выращивания национальных чемпионов, в том числе вокруг цифрового развития государства, и импортозамещения зарубежных IT-технологий. Сегодня в списке ключевых трендов рынка систем безопасности обосновались и п...

[Из песочницы] Ансамбли нейронных сетей с PyTorch и Sklearn Нейронные сети довольно популярны. Их главное преимущество в том, что они способны обобщать довольно сложные данные, на которых другие алгоритмы показывают низкое качество. Но что делать, если качество нейронной сети все еще неудовлетворительное? И тут на помощь приходят анс...

[Из песочницы] Как копирайтеру писать для IT без глупостей и стереотипов Привет. Я Дмитрий — автор и редактор, помогаю IT-компаниям рассказывать о себе с помощью PR-статей на различные ресурсы, начиная от развлекательных и заканчивая большими профильными площадками (Как раз про Хабр, да). Кто-то вроде литературного негра — грубо говоря, ко мне пр...

Почему меня забанили? Всё про модерацию и блокировки при запуске рекламы в соцсетях Вебинар подойдет тем, кто уже попробовал свои силы в рекламе и столкнулся с непреодолимой проблемой в виде банов и блокировок. Ксения объяснит, как работает модерация в каждой соцсети с акцентом на Facebook и Instagram, как наибол...

[Перевод] FELIX — гибкое редактирование текста с помощью тегов и вставок Seq2seq модели набирают все большую популярность для решения различных задач генерации естественного языка (NLG), начиная от машинного перевода и заканчивая одноязычными задачами генерации текста, такими как суммаризация, объединение предложений, упрощение текста и постредак...

Российские ученые разработали уникальный алгоритм быстрого обучения сетей квадратичных нейронов В сфере технологического развития Россия ставит перед собой задачу выращивания национальных чемпионов, в том числе вокруг цифрового развития государства, и импортозамещения зарубежных IT-технологий. Сегодня в списке ключевых трендов рынка систем безопасности обосновались и п...

Технологии для проверки «Тотального диктанта»: что можно улучшить? Я состою в жюри World AI & Data Challenge. Это такой международный конкурс для разработчиков технологий для решения разных социальных задач, таких как борьба с бедностью, помощь людям с ограничениями слуха и зрения, улучшение обратной связи между человеком и государствен...

Сочиняя ПО: Введение Эта статья - часть серии статей "Составляя ПО" про функциональное программирование и различные техники создания программ на JavaScript ES6+, начиная с азов. Оставайтесь на связи, много нового впереди! Композиция: "Действие, заключающееся в составлении единого целого из часте...

Coca-Cola, Unilever и другие компании временно отказываются от рекламы на площадках Facebook Они хотят, чтобы соцсеть ужесточила модерацию контента. Акции Facebook упали на 8,3%.

Coca-Cola, Unilever и другие компании на время отказались от рекламы на площадках Facebook Они хотят, чтобы соцсеть ужесточила модерацию контента. Акции Facebook упали на 8,3%.

Обучение универсальной модели NLU c BERT и Multitask Learning В современной компьютерной лингвистике понимание смысла написанного или сказанного достигается с помощью моделей естественного языка (NLU). С постепенным ростом аудитории виртуальных ассистентов Салют встает вопрос об оптимизации наших сервисов, работающих с естественным яз...

Самая сложная задача в Computer Vision Среди всего многообразия задач Computer Vision есть одна, которая стоит особняком. К ней обычно стараются лишний раз не притрагиваться. И, если не дай бог работает, — не ворошить. У неё нет общего решения. Практически для каждого применения существующие алгоритмы надо тюнинг...

[Перевод] Построение моделей Трансформера для больших последовательностей с помощью методов разреженного внимания Модели обработки естественного языка (Natural language processing, NLP) на основе архитектуры Трансформеров, такие как BERT, RoBERTa, T5 или GPT3, успешно применяются в самых различных задачах и являются стандартом современных исследований в области NLP. Гибкость (универсаль...

[Перевод] Использование современных графических форматов в веб-проектах Эдди Османи, в статье «Цена JavaScript в 2018 году», озвучил одну ценную мысль: время, необходимое на обработку скрипта размером 200 Кб, и на обработку изображения, имеющего такой же размер, серьёзно различается. Дело в том, что при обработке кода браузеру нужно проделать бо...

Простое руководство по дистилляции BERT Если вы интересуетесь машинным обучением, то наверняка слышали про BERT и трансформеры. BERT — это языковая модель от Google, показавшая state-of-the-art результаты с большим отрывом на целом ряде задач. BERT, и вообще трансформеры, стали совершенно новым шаго...

Сложное поведение без нейросетей и обучения. Философский базис Задача управления движением интересна сама по себе. Как заставить механическую куклу решать задачи в трёхмерном пространстве? Пусть даже простые. Подойти к столу, взять предмет, перенести его, положить в корзину. Не упасть по дороге. Никуда не врезаться. Роботы Boston Dynam...

За парту в дата-центре, или Как мы строим распределенный центр подготовки инженеров Привет, Хабр! Меня зовут Антон Турсунов, я руковожу центром подготовки дежурного персонала ЦОД и уже давно считаю день знаний своим праздником. До этого я был старшим инженером службы технической поддержки на площадке OST и занимался обучением дежурных дата-центра: помогал о...

Создание нейронной сети Хопфилда на JavaScript Столкнувшись в университете с нейронными сетями, одной из любимых для меня стала именно сеть Хопфилда. Я был удивлен, что она оказалась последней в списке лабораторных работ, ведь ее работу можно наглядно продемонстрировать при помощи изображени...

Нейросеть — обучение без учителя. Метод Policy Gradient Доброго времени суток, Хабр Настоящей статьей открываю цикл статей о том, как обучать нейронные сети без учителя. (Reinforcement Learning for Neuron Networks) В цикле планирую сделать три статьи по теории и реализации в коде трех алгоритмов обучения нейронных сетей без учи...

[Перевод] Facebook заставляет модераторов документировать своё рабочее время с точностью до секунды — даже походы в туалет «Людям приходится отмечать время прихода и ухода даже при походе в туалет, и объяснять, почему они там задержались – это унизительно и оскорбительно» Когда Валера Зайцев пару лет назад начал работать в Дублине в должности модератора Facebook, он знал, что ему придётся смот...

Instagram изменит модерацию фотографий груди после жалобы плюс-сайз модели Instagram известен своими строгими правилами в отношении изображений женской груди. Площадка не допускает фотографий, на которых модели сжимают бюст, так как это движение обычно ассоциируется с порнографией. Однако после недавнего скандала Instagram готов изменить правила.

АТАТА: распутываем задачу про палиндром Очень часто авторы алгоритмических задач делают ход конём: они берут задачу с простыми формулировками, заменяют их сложными и непонятными эквивалентами и выдают вам «сложную» задачу. В этом посте мы разберём пример одной такой задачи и обсудим пару полезных для её решения пр...

Конкурс World & AI Data Challenge: начинаем решать задачу распознавания шрифта Брайля Технологии искусственного интеллекта и анализа данных всё стремительнее входят в нашу жизнь, они могут дать еще один шанс решению действительно важных для людей социальных задач, которые ранее не были реализованы. С этой целью центр цифрового развития АСИ организовал конкурс...

Марк Цукерберг встретится с организаторами бойкота рекламы на площадках Facebook Около 400 брендов временно отказались от рекламы в соцсети в знак протеста против недостаточно жёсткой модерации контента, пропагандирующего насилие и ненависть.

Марк Цукерберг встретится с компаниями-организаторами бойкота рекламы на площадках Facebook Около 400 брендов временно отказались от рекламы в соцсети в знак протеста против недостаточно жёсткой модерации контента, пропагандирующего насилие и ненависть.

Как обучить нейронную сеть DeepPavlov на ноутбуке с использованием GPU В этой статье я хочу поделиться своим опытом использования данной open-source библиотеки на примере реализации одной задачи с парсингом файлов PDF/DOC/DOCX содержащих резюме специалистов. Здесь я также опишу этапы реализации инструмента для подготовки датасета. После чего м...

Автоматизация задач администрирования API VMware vSphere с использованием Ansible В предыдущей статье мы рассмотрели взаимодействие с VMware с помощью Python. В этой же обсудим взаимодействие с VMware с помощью Ansible. Ansible — система управления конфигурациями, написанная на языке программирования Python с использованием декларативного языка разметки ...

[Перевод] Python, pandas и решение трёх задач из мира Excel Excel — это чрезвычайно распространённый инструмент для анализа данных. С ним легко научиться работать, есть он практически на каждом компьютере, а тот, кто его освоил, может с его помощью решать довольно сложные задачи. Python часто считают инструментом, возможности которог...

Как сделать из нейросети журналиста, или «Секреты сокращения текста на Хабре без лишних слов» Только не удивляйтесь, но второй заголовок к этому посту сгенерировала нейросеть, а точнее алгоритм саммаризации. А что такое саммаризация? Это одна из ключевых и классических задач Natural Language Processing (NLP). Она заключается в создании алгоритма, который принимает н...

Альтернативный метод классификации поля «пол» паспорта РФ с помощью нейронной сети Источник: https://wiki.loginom.ru/articles/clustering.html Задача распознавания текста не теряет своей актуальности на протяжении последних десятилетий. А сейчас, в период повсеместного введения дистанционного оформления документов, не обойтись без процедуры идентификации л...

Big Data: архитектура w/vs инфраструктура В этой статье вы узнаете, как МТС решает задачи по хранению и обработке больших данных. Как архитектура платформы Big Data совместно с инфраструктурой помогает их решать более эффективно. А когда наоборот — инфраструктура выступает существенным ограничителем, влияющим на арх...

Нейросеть GPT-3 вела мотивационный блог на английском и всем понравилось. Чем это грозит копирайтерам и писателям Компания OpenAI, которую несколько лет назад основал Илон Маск, в июне выпустила новый алгоритм нейросети GPT-3. На сегодня это самая совершенная система, которая умеет работать с естественными языками. Ее возможности просто колоссальны. С помощью GPT-3 можно создавать л...

ruCLIP — мультимодальная модель для русского языка Известно, что глубокие нейронные сети (DNN) и модели компьютерного зрения, в частности, хорошо справляются с конкретными задачами, но зачастую не могут сделать обобщение при работе с новыми. Так, модель, которая хорошо работает с данными о продуктах питания, может показать с...

Реализация поиска печатей на OpenCV без нейронок, регистрации и смс Не так давно перед нами стояла задача найти и извлечь печати с документов. Зачем? Например, для проверки наличия печатей в договорах с двух сторон (участников договора). У нас в закромах уже был прототип для их поиска, написанный на OpenCV, но он был сыроват. Решили откопат...

[Из песочницы] Частотный анализ русского текста и облако слов на Python Частотный анализ является одним из сравнительно простых методов обработки текста на естественном языке (NLP). Его результатом является список слов, наиболее часто встречающихся в тексте. Частотный анализ также позволяет получить представление о тематике и основных понятиях т...

Работа с IPv6 в PHP Недавно мы получили статус LIR и /29 блок IPv6. А следом возникла необходимость вести учёт назначенных подсетей. И коль скоро наш биллинг написан на PHP, пришлось немного проникнуться вопросом и осознать, что этот язык — не самый дружелюбный в плане работы с IPv6. Под катом ...

Вебкаст Хабр Про #4: их призвало НЛО. Как себя чувствуют новые авторы в нашем клубе Всем привет! Мы продолжаем собирать заявки на наш конкурс «ТехноТекст» и сегодня решили посмотреть на тему техноавторства не со стороны тех, кто пишет давно и успешно, а со стороны «новобранцев». Для этого мы вместе с нашим партнером по видеотрансляциям из SBTG.RU организо...

Машинное обучение. Нейронные сети (часть 3) — Convolutional Network под микроскопом. Изучение АПИ Tensorflow.js В предыдущих статьях, использовался только один из видов слоев нейронной сети – полносвязанные (dense, fully-connected), когда каждый нейрон исходного слоя имеет связь со всеми нейронами из предыдущих слоев. Чтобы обработать, например, черно-белое изображение размером 24x24,...

Спроектировать раздел газоснабжения? Лучше в nanoCAD ВК Продолжаем цикл материалов, посвященных вертикальным решениям nanoCAD ВК и nanoCAD Отопление. На одной из встреч, где демонстрировалась наши инженерные программы, слушатель спросил, в какой из программ линейки nanoCAD можно спроектировать раздел газоснабжения. Эта статья –...

[Перевод] Классические задачи Computer Science на языке Python. Обзор книги Привет, Хабр! Одной из самых интересных наших книг по Python в течение уходящего года оставались "Классические задачи Computer Science на языке Python" от Дэвида Копеца. Для тех, кто еще не успел ознакомиться с этой книгой, предлагаем ее обзор, написанный по ор...

[Перевод] BERT, ELMO и Ко в картинках (как в NLP пришло трансферное обучение) 2018 год стал переломной точкой для развития моделей машинного обучения, направленных на решение задач обработки текста (или, что более корректно, обработки естественного языка (Natural Language Processing, NLP)). Быстро растет концептуальное понимание того, как представлять...

Свой личный SMS-шлюз. Часть 2 – создаём API и форму отправки Представляю вам вторую часть из серии статей по созданию своего шлюза. В первой части мы настроили Gammu, рассмотрели особо интересные параметры и успешно произвели отправку SMS сообщения. Сейчас нам предстоит задача посложнее – создать некую программную прослойку (API), дл...

Распознавание печатей: нейронные сети против SIFT, и причем тут Госуслуги Привет, Хабр! Сегодня мы расскажем, как делали в нашей группе анализа данных прототип для уже успешно работающего внутри DLP-системы Solar Dozor движка детектирования графических объектов на изображениях. Покажем это на примере одного его представителя - оттисков печатей на ...

NLP: ВЫДЕЛЯЕМ ФАКТЫ ИЗ ТЕКСТОВ С ПОМОЩЬЮ ТОМИТА-ПАРСЕРА NLP - natural language processingБольшая часть данных в мире не структурирована – это просто тексты на русском или на любом другом языке. Извлеченные факты из таких текстов могут представлять особый интерес для бизнеса, поэтому подобные задачи возникают сплошь и рядом. Этим ...

В России запущен первый проект в области квантовой химии Компания Nissan и Проект по квантовому машинному обучению Российского квантового центра (РКЦ) объявили о запуске совместного научно-технологического проекта. Проект относится к области применения квантовых вычислений для моделирования химических соединений. Партнеры рас...

[Из песочницы] Архитектура нейронной сети RetinaNet Данная статья посвящается объяснению устройства архитектуры нейронной сети RetinaNet. Обзор был проведён мною в ходе выполнения дипломной работы, а так как для его написания потребовалось обращаться исключительно к англоязычным источникам и собрать найденную информацию воеди...

Управление многозвенными манипуляторами робототехнического комплекса с помощью нейронной сети Введение. При моделировании систем управления движением роботов требуется решать задачи кинематики и динамики для их исполнительных механизмов. Существует обратная и прямая задача кинематики. Прямая задача кинематики состоит в определении пространственного положения и ориент...

Хакатон – путь к новым финансовым контрактам и перспективам развития Хакатон – форум для программистов, во время которого специалисты из разных областей разработки программного обеспечения совместно решают задачи заказчиков. Этот инструмент коммуникации малого и крупного бизнеса без сомнения можно назвать двигателем инновационных технологий...

В России запущен первый проект в области квантовой химии Компания Nissan и Проект по квантовому машинному обучению Российского квантового центра (РКЦ) объявили о запуске совместного научно-технологического проекта. Проект относится к области применения квантовых вычислений для моделирования химических соединений. Партнеры рас...

Настраиваем площадку Битрикс правильно: простые советы для сохранения душевного здоровья тимлида Настройка любой площадки для CMS — это рутинный процесс, который должен быть доведен до автоматизма в каждой уважающей себя компании. А потому частенько воспринимается, как восход солнца — это происходит само собой. На самом деле, нельзя так относиться и надеяться на разрабо...

Сверточная нейронная сеть и ее интеграция в iOS (часть 1) Средства реализации. Различные алгоритмы машинного обучения интегрированы в множество высокоуровневых языков программирования. Наиболее популярным и быстро развивающимся из них является Python. TensorFlow — открытая программная библиотека для машинного обучения, разработа...

В Adobe Photoshop добавлены новые нейронные фильтры с ускорением на GPU Nvidia На проходящем сейчас мероприятии Adobe MAX были продемонстрированы инструменты Adobe Photoshop, работающие по алгоритмам искусственного интеллекта. Их работу ускоряют графические процессоры Nvidia RTX. Речь идет о новых нейронных фильтрах. По словам Nvidia, нейронные фи...

В России начал работу сервис безопасных расчетов для маркетплейсов Тема маркетплейсов на Хабре достаточно популярна. Публикуются как технические, так и продуктовые или финансовые статьи. Поэтому многие знают, что работа с финансами — больное место маркетплейсов. Дело в том, что зачастую непросто отделить деньги покупателей от денег самой ...

[Перевод] Символьная математика, наконец, начинает поддаваться нейросетям Переведя на язык машин часть сложных математических уравнений, исследователи создали систему с искусственным интеллектом, надеясь, что она даст ответы на ещё более сложные вопросы Переводя задачи символьной математики в древовидные структуры, мы, наконец, можем заставить не...

Нечего надеть? Computer Vision в помощь Привет, Хабр! Меня зовут Роман Тезиков, я Data Scientist, специализируюсь на Computer Vision в Lamoda. В R&D Lamoda мы постоянно имеем дело с различного рода рекомендациями. Когда покупатели не знают, какая вещь им нужна, они формируют ее абстрактный образ и пытаются най...

Как запустить 100+ компиляторов и выстоять. Опыт Яндекс.Контеста Привет, это снова Павел Тыквин, разработчик Яндекс.Контеста. Контест больше всего известен как площадка для соревнований по программированию: прямо сейчас идёт квалификационный этап чемпионата Yandex Cup. Я уже писал на Хабре о том, как мы решаем одну из стоящих перед нами п...

Vulnhub. Прохождение Sunset: 1 HackTheBox — популярная площадка среди специалистов информационной безопасности, проводящих тестирование на проникновение. Однако существуют не мене интересные CTF площадки для проверки и тренировки своих навыков, которые подойдут как начинающим, так и опытным пентестерам. ...

Книга «Обработка естественного языка в действии» Привет, Хаброжители! Мы издали практическое руководство по обработке и генерации текстов на естественном языке. Книга снабжена всеми инструментами и методиками, необходимыми для создания прикладных NLP-систем с целью обеспечения работы виртуального помощника (чат-бота), спам...

Парсинг Markdown и LaTeX в Grazie Chrome Plugin Возможно, вы уже пользуетесь Grazie — плагином для среды разработки Intellij IDEA, который проверяет естественные языки на грамматические, пунктуационные и прочие виды ошибок. Сейчас команда проекта работает над плагином для Chrome, который будет делать то же самое, но уже в...

Нелинейный мир и инструменты для расчета сложных нелинейных задач методом конечных элементов Привет, Хабр! В названии этой статьи есть словосочетание «нелинейный мир»… Думаю, что большинство читателей поняли смысл этого словосочетания, но я всё же расшифрую его. Реальные системы можно рассматривать как линейные только в ограниченном диапазоне нагрузок. Реальный же ...

Подборка статей о машинном обучении: кейсы, гайды и исследования за июль 2020 Похоже, не один наш дайджест не обходится без упоминания разработок Open AI: в июле самой обсуждаемой темой в области машинного обучения стал новый алгоритм GPT-3. Технически это не одна модель, а целое семейство, которое для удобства обобщают под единым названием. В самой...

Как открыть и запустить магазин в интернете? Сфера продаж всегда считалась нишей, где стартовать могут даже новички без навыков и опыта предпринимательской деятельности. Для входа не нужен крупный стартовый капитал, так как не требуется производить продукцию. Достаточно найти поставщиков, организовать бесперебойную по...

SQL HowTo: три WHERE в одном запросе При реализации некоторых прикладных задач в рамках экосистемы СБИС случается сталкиваться с неочевидными возможностями PostgreSQL, которые позволяют вместо сложной логики создать решение "в один ход".Сегодня на примере вполне реальной задачи рассмотрим такие возможности опер...

Лемматизируй это быстрее (PyMorphy2, PyMystem3 и немного магии) Я работаю программистом, и в том числе занимаюсь машинным обучением применительно к анализу текстов. При обработке естественного языка требуется предварительная подготовка документов, и одним из способов является лемматизация – приведение всех слов текста к их нормальным фор...

Починить, хакнуть, раскопать. Решаем онлайн-квест Droid Mission В прошлом году мы провели онлайн-квест для мобильных разработчиков — Droid Mission. В течение месяца участники должны были решить как можно больше задач в трёх направлениях: fix it! (поиск ошибок и исследование кода), hack it! (реверс-инжиниринг) и dig it! (изучение особен...

Машинное обучение на помощь руководителю разработки Интро Интерес к теме машинного обучения и искусственного интеллекта неуклонно растет. Ежедневно в новостных сводках мы читаем про победу искусственного интеллекта над человеком. Как правило, описывается решение некоторой сложной задачи (челенджа). От жгучего желания воспрои...

Основы линейной регрессии Здравствуй, Хабр! Цель этой статьи — рассказать о линейной регрессии, а именно собрать и показать формулировки и интерпретации задачи регрессии с точки зрения математического анализа, статистики, линейной алгебры и теории вероятностей. Хотя в учебниках эта тема изложена стр...

Дообучаем готовую нейросеть для классификации данных В прошлой статье мы научились классифицировать данные без разметки с помощью понижения размерности и методов кластеризации. По итогам получили первичную разметку данных и узнали, что это картинки. С такими начальными условиями можно придумать что-то более серьёзное, например...

Разгоняем JS-парсер с помощью WebAssembly (часть 1: базовые возможности) В прошлой статье, посвященной выяснению победителя в состязании JS-парсеров строки buffers-атрибута узла плана PostgreSQL, мы дошли до факта, что самый эффективный вариант - реализовать примитивный конечный автомат и никогда не трогать регулярные выражения и любые опера...

В Китае создан квантовый компьютер, который решил самую сложную задачу за 200 секунд Изобретение квантового компьютера может изменить жизнь человечества Китайские ученые разработали квантовый компьютер, который смог решить одну из самых сложных задач за 200 секунд. Даже самый мощный классический компьютер потратил бы на вычисление около 2,5 миллиарда лет. Яв...

Отпилит ли Cisco SD-WAN сук, на котором сидит DMVPN? С августа 2017 года, когда компания Cisco приобрела компанию Viptela, основной предлагаемой технологией организации распределенных корпоративных сетей стала Cisco SD-WAN. За прошедшие 3 года SD-WAN технология прошла множество изменений, как качественного, так и количественно...

DeepPavlov: «Keras» для обработки естественного языка помогает отвечать на вопросы про COVID-2019 В такой области глубокого обучения, как обработка изображений, библиотека Keras играет ключевую роль, радикально упрощая обучение transfer learning и использование предварительно обученных моделей. В области обработки естественного языка (NLP) для решения достаточно сложных ...

[Перевод] Пять самых сложных языков программирования на свете У всех нас только и разговоров, что о C, C+, Java, Python и так далее, а между тем, в природе существуют языки, который можно назвать не просто сложными, а недоступными для понимания большинства программистов. Они называются эзотерическими языками программирования (или эзо...

Цифра дня: Сколько ложных постов о коронавирусе нашёл Facebook за месяц? Самая крупная в мире соцсеть поделилась статистикой по модерации контента за апрель. Стало известно, сколько ложных постов о коронавирусе нашёл Facebook за месяц.

Заметки Датасатаниста: что делать, если перед вами оказалась NP-полная задача Наверное, каждый сталкивался с тем, что приходилось столкнуться с какой-то сложной задачей, решение к которой не удавалось подобрать не то что сразу — а даже после долгих упорных часов работы или дней. Об одном из классов таких задач — NP-полных, мы сегодня и поговорим. А...

Disaster Recovery и миграция c помощью VMware vCloud Availability. Часть 2 Привет! В прошлом посте я рассказал о возможностях VMware vCloud Availability (vCAV) и показал, как организовать Disaster Recovery (DR) и миграцию в рамках нескольких площадок облачного провайдера. Сегодня посмотрим, как с помощью vCAV восстановиться или просто смигрировать ...

Продвинутая система авторизации действий с ресурсами в Laravel. Часть 3. Чтение/запись атрибутов, собственные модели Введение Здравствуйте, дорогие Хабровчане. Сегодня я представляю вашему вниманию заключающую часть цикла статей о продвинутой авторизации действий с ресурсами в Laravel. Чтобы лучше понимать о чем пойдет речь в этой статье — необходимо прочесть первую и вторую части. На э...

Ищем цепочку событий в потоке данных с помощью FlinkCEP В данной статье речь пойдет об использовании открытой платформы Apache Flink для обнаружения цепочки последовательности событий. Статья подойдет как для начинающих разработчиков в области обработки потоковых данных, так и для тех, кто желает познакомиться с Apache Flink. Н...

«Ростелеком-ЦОД» запускает дата-центр Tier III на 600 стоек в Москве Эксплуатировать и предоставлять услуги дата-центра NORD-5 будет совместная команда "Ростелеком-ЦОД" и DataLine.NORD-5 соответствует требованиям международного стандарта Tier III Uptime Institute. Все элементы инфраструктурных систем зарезервированы и позволяют обсл...

[Перевод] Для программиста shell так же необходим, как умение читать Грамотное владение shell — один из самых важных навыков, которыми вы как программист должны обладать. Unix shell — одна из самых мощных идей, реализованных в коде, и она должна стать вашей второй натурой. Ни один другой инструмент и близко не сравним с возможностью быстрого ...

[Из песочницы] Фасетные фильтры: как готовить и с чем подавать О чем речь  Как сделать фасетный поиск в интернет-магазине? Как формируются значения в фильтрах фасетного поиска? Как выбор значения в фильтре влияет на значения в соседних фильтрах? В поиске ответов дошел до пятой страницы поисковой выдачи Google. Исчерпывающей информации н...

Как мы подбирали грузы для перевозчиков Добрый день. Нас зовут Илья Баштанов (разработчик, Точка-Точка) и Татьяна Воронова (аналитик данных, Центр 2М). И мы хотим рассказать о технической реализации задачи подбора грузов для перевозок. Суть задачи в следующем. На складе есть грузы, которые нужно перевезти из горо...

Измерение расстояния до объектов с помощью RealSense D435 Задача обнаружения объектов на изображении сегодня является одной из ведущих в области машинного зрения. Ее суть заключается в том, чтобы не только классифицировать объект на снимке, но и указать его точное местоположение. Результаты обнаружения объекта могут быть дополнены...

Как из четырёх минут речи мы воссоздали голос молодого Леонида Куравлёва Всем привет! Меня зовут Олег Петров, я руковожу группой R&D в Центре речевых технологий. Мы давно работаем не только над распознаванием речи, но и умеем синтезировать голоса. Самый простой пример, для чего это нужно бизнесу: чтобы для каждого нового сценария, которому об...

Как и зачем Mail.ru Group провела редизайн мобильной версии главной страницы портала Появление новых сервисов стало испытанием для главной страницы Mail.ru — пользователям стало сложнее находить нужные разделы, и в компании решили обновить дизайн. Специалисты Mail.ru Group рассказали об изменениях в мобильной версии главной страницы портала, какие задачи о...

Кейс: как составить контент-план для B2B-блога на основе информационной семантики Контент-планы для блогов [часто] делают как попало. То авторы заносят темы и правят бал вместо редакторов, то редактора что-то ситуативно выискивают и «латают дыры». Да, еще есть блоги имени себя любимых — с новостями и пресс-релизами... В результате блог просто висит на са...

BPF для самых маленьких, часть вторая: разнообразие типов программ BPF Продолжаем серию статей про BPF — универсальную виртуальную машину ядра Linux — и в этом выпуске расскажем о том, какие типы программ BPF существуют, и как они используются в реальном мире капиталистического чистогана. Кроме этого, в конце статьи приведено некоторое количест...

Как разговорить Марусю: FAQ по созданию скиллов для голосового ассистента Голосовые помощники как технология возникли благодаря развитию целого созвездия других технологий. И одним из таких голосовых помощников стала Маруся, относительно недавно созданная в Mail.ru Group. В её основе лежат последние разработки компании в области распознавания ре...

Тестируем ruGPT-3 на новых задачах Рекомендательные системы с нуля, чат-боты и многое другое Погрузившись в пучину текстовых данных, в октябре этого года мы обучили модели ruGPT-3 — модели для русского языка на основе архитектуры от OpenAI. Но на что же способны эти модели? В этой статье мы соберем первые при...

Особенности создания синтаксического анализатора русского текста В данной статье приводится краткое описание основных особенностей, проблем и сложностей, которые автору пришлось решать при реализации программы морфологической и синтаксической обработки текстов на русском языке.Была поставлена задача создания программы морфологической и си...

Мультивселенная и задачи о переправе Как-то прочел на Хабре статью «Перевозим волка, козу и капусту через реку с эффектами на Haskell», которая так понравилась, что решил написать фреймворк для всего класса задач о переправах, используя мультипарадигменное проектирование. Наконец удалось найти время, и вот, спу...

Как автоматизировать оповещения о статусе заказов через Telegram-бота, Computer Vision и SQL Anywhere В современном мире услуги доставки становятся всё более популярными и востребованными, поэтому любая возможность автоматизации в этой сфере принесёт большую пользу как бизнесу, так и пользователям. В прошлых статьях нашего блога мы рассказывали о применении машинного зрения ...

Локализация своих скриптов на BASH Создание меню на BASH — задача сама по себе не сложная: "case тебе в руки и echo в спину". Решая её в очередной раз, мне захотелось добавить возможность отображать текст на других языках. Осталось решить, как сделать сам процесс локализации меню более удобным. Если...

Искусственный интеллект «увидел» квантовые преимущества Российские ученые из МФТИ, ФТИАН и ИТМО создали нейросеть, которая научилась предсказывать поведение квантовой системы, «взглянув» на схему этой системы. Такая нейросеть самостоятельно находит те решения, которые хорошо подходят для демонстрации квантовых преимуществ. Это по...

Прокачиваем разметку мультимодальных данных: меньше асессоров, больше слоёв Всем привет! Мы — учёные лаборатории «Машинное обучение» ИТМО и команда Core ML ВКонтакте — проводим совместные исследования. Одна из важных задач VK заключается в автоматической классификации постов: она необходима не только чтобы формировать тематические ленты, но и опреде...

Расширяющийся нейронный газ При проведении проверок с использованием моделей машинного обучения одной из часто решаемых задач является задача кластеризации. Например, необходимо разбить на несколько кластеров отзывы клиентов на мобильное приложение (задача тематического моделирования). Для задач класте...

Задача №1. Узнайте пол и степень родства В предыдущей подробной статье про Полный геном мы обещали опубликовать три задачи и подарить тест тому, кто первым решит все три правильно. Заодно в этих задачах мы даем примеры, как можно работать с генетическими данными. Сегодня публикуем первую. Читать дальше →

Вычисление центра масс за O(1) с помощью интегральных изображений Интегральное изображение ― алгоритм, позволяющий эффективно вычислять сумму значений, заключенных в прямоугольном подмножестве многомерного массива. Сама его идея восходит к исследованиям многомерных функций распределения вероятностей, и до сих пор он находил успешное прим...

Укрощаем динамику в задаче о палиндромах Я уже давно не студент, но в свободное время изучаю материалы по Computer Science. Мне нравится получать знания и делиться ими. Недавно я наткнулся на любопытную задачу в известном учебнике "Алгоримы: Построение и Анализ". В этой статье я продемонстрирую принципы д...

Модерация Facebook работала хуже во втором квартале из-за эпидемии COVID-19 Социальная сеть признала, что она модерировала меньше контента со сценами убийств, самоубийств и детского порно.

Инфракрасная видеокамера из подручных средств Прогулка с самодельной ИК-камерой в парке На хабре эпизодически проскакивают интересные статьи, про то как снимать фотографии в инфракрасном свете. Как правило они связанны с доработкой фотоаппарата, снятием с него ИК-фильтра и установкой дополнительного фильтра видимого с...

[Перевод] Трюк с XOR для собеседований и не только Есть целая куча популярных задач для собеседований, которые можно решить одним из двух способов: или логичным применением стандартных структур данных и алгоритмов, или использованием некоторых свойств XOR сложным для понимания способом. Хоть и непривычно ожидать решения с...

Отбор признаков в задачах машинного обучения. Часть 1 Часто наборы данных, с которыми приходится работать, содержат большое количество признаков, число которых может достигать нескольких сотен и даже тысяч. При построении модели машинного обучения не всегда понятно, какие из признаков действительно для неё важны (т.е. имеют свя...

Распознавание символов Работа с изображениями — одна из самых распространенных задач в машинном обучении. Мы покажем пример обработки изображения, получение матриц (тензоров) чисел, подготовку данных обучающего множества, пример архитектуры нейронной сети.Работа с изображениями является одной из с...

Эксперименты с нейронными сетями на данных сейсморазведки Сложность интерпретации данных сейсмической разведки связана с тем, что к каждой задаче необходимо искать индивидуальный подход, поскольку каждый набор таких данных уникален. Ручная обработка требует значительных трудозатрат, а результат часто содержит ошибки, связанные с че...

Разделение звука в видеозаписях Традиционно популярными и активно исследуемыми областями в Deep Learning являются задачи обработки изображений или текстов. Тем не менее, задачи, связанные с обработкой звуков и аудиодорожек, полезны и могут найти практические приложения во многих областях. В данной статье я...

[Из песочницы] Опыт работы с фильтром Калмана на примере NMEA данных Цель статьи не в объяснении принципов Калмановского фильтра, а в его демонстрации на примере реальных (сырых) данных. Желающие могут модифицировать исходники и поэкспериментировать с алгоритмом, я надеюсь что моя работа поможет тем, кто столкнется с подобной задачей. Использ...

Курс Natural Language Processing (обработка естественного языка) Всем привет! Huawei Russian Research Institute (Huawei RRI) в рамках программы взаимодействия с ведущими российскими университетами (МФТИ, МГУ, МГТУ им. Н. Э. Баумана) представляет открытый курс “Natural Language Processing” или “Обработка естественного языка”, который пройд...

Проверка изоморфности двух графов и поиск изоморфных подграфов: подход на основе анализа NB-Paths Всем привет. Есть такая задача – проверить, являются ли два графа изоморфными друг другу. Т.е., говоря по-простому, узнать, являются ли оба эти графа «одним и тем же» графом, но с разной нумерацией вершин и, в случае задания графов графически, с разным их пространственным р...

[Перевод] Инструменты для аудита CSS Аудит (здесь и далее слово «аудит» употребляется в значении «оценка качества») CSS не относится к повседневным задачам при разработке веб-приложений, но иногда приходится этим заниматься. Это может быть частью процесса определения критического CSS, удаления неиспользуемых ...

Инструменты для аудита CSS Аудит (здесь и далее слово «аудит» употребляется в значении «оценка качества») CSS не относится к повседневным задачам при разработке веб-приложений, но иногда приходится этим заниматься. Это может быть частью процесса определения критического CSS, удаления неиспользуемых ...

Twitter анонсировал бета-тестирование голосовых чатов Spaces В прошлом месяце стало известно о том, что разработчики Twitter планируют добавить в социальную сеть возможность организации голосовых чатов внутри специальных виртуальных комнат. Теперь же эта функция, получившая название Spaces, приблизилась к этапу бета-тестирования с при...

Новый японский суперкомпьютер смоделирует Землю для прогнозирования катастроф Японское агентство морских наук и технологий (The Japan Agency for Marine — Earth Science and Technology) заключило контракт с компанией NEC на поставку суперкомпьютера «the Earth Simulator» (ES) четвертого поколения. Обрабатывая огромные массивы данных об окружающей среде ...

[Перевод] Python-пакеты для Data Science Python — это один из самых распространённых языков программирования. Хотя стандартные возможности Python достаточно скромны, существует огромное количество пакетов, которые позволяют решать с помощью этого языка самые разные задачи. Пожалуй, именно поэтому Python и пользуетс...

Modern Reverse Engineering: TTD Обратная разработка сегодня это достаточно трудоемкий процесс в первую очередь потому, что в период с 2000х по 2020 годы вышло в свет много языков программирования, которые ставили перед собой задачу стать интуитивными и простыми для изучения, безопасными и в то же время эфф...

Симметричные НЧ-ВЧ фильтры: новое слово в цифровой обработке сигналов В задачах обработки сигналов часто возникает необходимость фильтрации сигналов, когда сигнал разбивается на узкополосные диапазоны. В бытовом плане мы с этим сталкиваемся при воспроизведении музыки через акустические системы, в которых каждый громкоговоритель (динамик) воспр...

Ищем чехол для Huawei MatePad Pro Иногда пользователи не совсем понимают, как правильно выбирать чехол для Huawei MatePad Pro 5G LTE 10.8", на какие элементы и параметры стоит обращать внимание, а на какие можно не смотреть вообще. Мы понимаем, что это очень сложный процесс и далеко не всегда пользователь мо...

Нейронные сети в графике: задачи и перспективы применения Сегодня мы хотим поделиться нашими компетенциями и знаниями в области машинного обучения в графике и показать, как технологии позволяют упростить многие процессы, при этом не заменяя, а дополняя деятельность человека. Эта статья будет интересна разработчикам, дизайнерам и вс...

Разбираем реальные задачи для кандидатов в Яндекс Хабр, это снова я, Алексей Рак (фото не мое). В прошлом году, помимо основной работы, мне довелось стать одним из автором задач для кандидатов в Яндекс. Сегодня наша команда впервые за долгое время публикует на Хабре реальные задачи для разработчиков, которые устраиваются в ...

Ставим задачи на развитие (в кровавом enterprise и не только) Забегает молодой парень в больницу: — Доктор, сделайте мне кастрацию, срочно! — ??? — Срочно, доктор, некогда объяснять! Доктор делает кастрацию. Наутро парень приходит в себя от наркоза, его спрашивают, в чем дело, собственно? — Понимаете, я собираюсь жениться на еврейк...

Домашний кластер на Dask Я недавно проводил исследование, в рамках которого было необходимо обработать несколько сотен тысяч наборов входных данных. Для каждого набора — провести некоторые расчеты, результаты всех расчетов собрать вместе и выбрать "лучший" по некоторым критериям. По сути ...

[Перевод] Космические технологии в беспилотном транспорте: фильтр Калмана (из Архивов NASA) В 51-ю годовщину первой человеческой высадки на Луну, состоявшейся в июле 1969 года, давайте вспомним фундаментальную технологию, которая помогла сделать эту высадку возможной: фильтр Калмана. Названный в честь Рудольфа Калмана, американского электротехника, математика и и...

Распознавание речи: очень краткий вводный курс Рассказать неспециалисту максимально просто о работе компьютерного распознавания речи и преобразовании её в текст — задача почти непосильная. Ни один рассказ об этом не обходится без сложных формул и математических терминов. Мы попробуем максимально понятно и немного упрощ...

Новые функции на платформе «IT-волонтер»: собираем обратную связь Команда «Теплицы» обновила платформу «IT-волонтёр». Дизайн стал более легким и современным, добавлены новые элементы и функции, а в интерфейсе акцент сделан на работу над задачей. Это значит, что сотрудники некоммерческих организаций смогут быстрее находить волонтеров, связ...

Изучаем VoIP-движок Mediastreamer2. Часть 2 Материал статьи взят с моего дзен-канала. Создаем тональный генератор В предыдущей статье мы выполнили установку библиотеки медиастримера, инструментов разработки и проверили их функционирование, собрав пробное приложение. Сегодня мы создадим приложение, которое сможет пропи...

Открытый курс «Deep Learning in NLP» от создателей DeepPavlov на базе курса cs224n Всем привет! Вступление Меня зовут Алексей Клоков, я хочу рассказать о запуске классного курса по обработке естественного языка (Natural Language Processing), который очередной раз запускают физтехи из проекта DeepPavlov – открытой библиотеки для разговорного искусственного ...

Опыт конвертирования кода C# в код Rust Постановка задачи Код на языке C# нужно перевести в код на Rust. Точнее, требуется такая процедура перевода (разработка продолжается на C#), чтобы в любой момент можно было получить работающий код на Rust. Эту задачу я решал для языков Java, Python, JavaScript и PHP, написав...

Правильные ответы и анонс победителя Мы завершаем цикл статей с практическими задачами о том, как использовать данные генетических тестов. Сегодня публикуем правильные ответы и победителей, которые решили все три задачи быстрее остальных. Читать дальше →

Алгоритм нахождения 1000 ферзей на шахматной доске Недавно разбирался в старых своих наработках/скриптах и наткнулся на скрипт где решалась задача о ферзях. Собственно это послужило написанию статьи о том как проходили этапы написания его алгоритма. Возможно пригодится начинающим программистам для решения похожих задач (к...

Facebook объявила изображение BMW сексуальным контентом Сейчас соцсеть Facebook использует для модерации алгоритмы. Они могут прикрывать специальной плашкой опубликованные фотографии, которые могут показаться кому-то неприемлемыми. На днях алгоритмы дали сбой и «сочли» изображение автомобиля BMW сексуальным контентом.

Туториал по uplift моделированию. Часть 1 Команда Big Data МТС активно извлекает знания из имеющихся данных и решает большое количество задач для бизнеса. Один из типов задач машинного обучения, с которыми мы сталкиваемся – это задачи моделирования uplift. С помощью этого подхода оценивается эффект от коммуникации ...

Доббль: практичный подход с OpenCV и NumPy О чём мы вспоминаем в первую очередь, когда слышим про распознавание образов? Сложные нейронные сети, мощные видеокарты, объёмные наборы данных. Всего этого не будет в моей истории - я расскажу, как с помощью OpenCV и NumPy можно за 1 вечер решить задачу классификации 57 сим...

WSL эксперименты. Часть 2 Привет, Хабр. В преддверии старта курса «Administrator Linux. Professional» публикуем продолжение статьи про WSL эксперименты, которую написал наш эксперт — Александр Колесников. Настало время для продолжения экспериментов с подсистемой WSL; первую часть статьи можно посм...

Книга «Глубокое обучение в картинках. Визуальный гид по искусственному интеллекту» Привет, Хаброжители! Глубокое обучение стало мощным двигателем для работы с искусственным интеллектом. Яркие иллюстрации и простые примеры кода избавят вас от необходимости вникать в сложные аспекты конструирования моделей глубокого обучения, делая сложные задачи доступными ...

Митап «Организация работы в креативной команде» – видеозаписи докладов 24 сентября Wrike организовал митап для сотрудников креативных команд (дизайнеров, маркетологов) и проджект-менеджеров, чтобы обсудить, как построить процесс, который обеспечит прозрачность работы, предсказуемые результаты и разумные сроки выполнения даже самых глобальных ...

Как с помощью хакатона столкнуть математиков и ML–щиков, и кто тогда победит Введение Эта статья о том, как мы совместно с роснефтёвой «дочкой» «Самаранефтехимпроект» и Казанским Федеральным Университетом в сентябре 2020 года провели «Хакатон трёх городов», на котором предложили студентам решить классическую задачу сейсмической корреляции отражающих ...

Введение в программирование: заготовка игры-платформера на SDL в 300 строк C++ Этот текст предназначен для тех, кто только осваивает программирование. Я читаю лекции по C++ на первом курсе местного университета, и в качестве практикума предлагаю запрограммировать любую игру (не выношу проектов типа "софт бронирования книг в местной библиотеке"...

Как я перестал бояться и научился любить нейронные сети В рекомендательных системах нет доминирующего класса моделей. Матричные разложения, графовые  и контентные рекомендеры активно развиваются: про них пишут научные статьи, их используют в продакшене. Пять лет назад на волне интереса к нейронным сетям стали популярны нейро...

[Перевод] Обработка сетевых данных на лету Перевод статьи подготовлен в преддверии старта курса «Пентест. Практика тестирования на проникновение». Аннотация Разнообразные виды оценки безопасности, начиная от регулярного тестирования на проникновение и операций Red Team до взлома IoT/ICS-устройств и SCADA, подразум...

Какой язык программирования учить в 2020-м? Статей с подобными заголовками существует уже множество. Но в них постоянно какая-то дичь! Смотрите, Google ещё до основных результатов советует такое: HCL, Карл! Язык, который не просто очень далёк от «Самых Популярных», но ещё и создан для конфигурации, так что его вообще...

Как сделать так, чтобы вашу статью или документацию поняли быстро и точно Не только содержание, но и структура текста должна быть осмысленна. Так, если мы говорим о техническом или научном тексте, например, о статье или документации, то форма должна помочь максимально быстро и легко понять содержание. Для меня, в случае статьи, это значит, что ст...

Как посмотреть плоские фильмы в 3D Это сильно расширенная версия моей публикации на MediumНедавно я сидел в баре с другом зашел разговор о том, в каких задачах в принципе может быть эффективен нейросетевой подход, а где они совершенно излишни. Один класс примеров, где нейросети часто наголову превосходят ...

Как мы запустили программу на Java без JavaVM Всем привет! В этой статье мы расскажем о том, как технология GraalVM Native Image помогла нам решить ряд задач в одном из наших новых продуктов, написанном на Java, расскажем о проблемах, с которыми столкнулись в ходе применения этой технологии, и о том, как эти проблемы ре...

[Перевод] OCR для PDF в среде .NET — как извлечь текст из недоступных для поиска PDF документов Извлечение текста — одна из популярных задач обработки PDF документов. Вам потребуется извлечь текст из PDF, чтобы: проиндексировать документ для полнотекстового поиска распарсить некоторые данные (например, названия и цены товаров в прайс-листе) выделить, удалить или замен...

[recovery mode] Just add some Salt Как мы мигрировали 700+ серверов на Salt Долгое время нас устраивала сложная и неповоротливая конфигурация с 2 Git-репозиториями, где часть данных хранится в MySQL, а другая часть Puppet 3.8. Но наши потребности постепенно росли, количество сервисов увеличивалось, а производ...

Разбор решения задач реальной промышленности (спасение поросят и другие) Свиноматка кормит поросят до 26-го дня. За это время она может на них прилечь, что приведёт к тому, что поросят станет чуть меньше, чем было в самом начале. Чтобы этого избежать, используются вот такие станки, как на фото, которые исключают её повороты и хождение по загону. ...

[Перевод] О смерти двойной загрузки и о единстве Windows и Linux Раньше моей рабочей машиной был ноутбук, созданный Apple. Я мог делать на нём практически всё что угодно: разрабатывать программы, писать тексты, сочинять музыку, да и много чего ещё. Но мне не давали покоя мысли о том, что я привязан к экосистеме Apple, о том, что я зависим...

Пишем хром плагин оповещения в телеграм Беда, товарищи! Дети (~10 лет) перешли на удаленное обучение, расселись по комнатам с компьютерами и не могут сосредоточиться на уроках! Они добавлены в google families, microsoft family, время за компьютером ограничено, а взрослые сайты убраны через opendns. Но чуть что...

«Инфраструктура как код» в автоматизации сервисов CI/CD Привет! Меня зовут Игорь Николаев, я пью за любовь работаю в отделе автоматизации процессов разработки Мир Plat.Form в НСПК. В этой статье я поделюсь тем, как наш отдел решал задачу по автоматизации предоставления различных ресурсов для команд разработки. Эта задача свойстве...

Российские учёные на порядок улучшили алгоритмы обработки изображений Томский государственный университет (ТГУ) сообщает о разработке передового метода анализа сигналов и изображений в сложных телекоммуникационных и навигационных системах, на которые воздействуют случайные помехи. Утверждается, что предложенная технология позволяет повысить то...

Challenge accepted или какие задачи решают инженеры Lamoda В e-commerce приходят из самых разных областей: финтеха, софтверной разработки, телекома. И довольно быстро обнаруживают, что тут у нас тоже довольно нескучно. Мы поговорили с представителями разных направлений IT департамента о неожиданных профессиональных вызовах, рабочих ...

Использование сервисов и обработка их результатов в Xamarin Продолжим обсуждать различные задачи для Xamarin с которыми приходится регулярно сталкиваться, так как статьи по данной тематике появляются не очень часто. Данная статья больше будет полезна начинающим разработчикам, но и более опытным тоже может быть интересно.Итак, почему ...

Электронная амеба и задача коммивояжера Какой самый ценный ресурс на планете? Нефть, вода или может чистый воздух? Самый ценный ресурс, по мнению многих, это время. Его всегда не хватает, люди постоянно куда-то спешат, а любая деятельность так или иначе связана с временем: сколько баррелей нефти добывает одна не...

Zynq 7000. Порты GPIO, PS, PL Продолжаю описывать свою “беготню по граблям” по мере освоения SoC Xilinx Zynq XC7Z020 с использованием отладочной платы QMTech Bajie Board. В этой статье хотелось бы рассказать, как я решил задачу по настройке тактирования из PS, получению и работе с входными сигналами с кн...

Сколько воды утекло? Решаем задачу лунной походкой на Haskell В сети гуляет интересная задача, которую задавали на собеседовании в Twitter. Представьте, что вы смотрите на стенки различной высоты в профиль. Идет дождь, где-то вода остается, где-то перетекает за края стенки из-за разницы в высоте. Задача состоит в том, чтобы определить...

[Перевод] Как управлять марсоходом Немногим более года назад мне повезло: я стал частью команды ученых и инженеров, ответственной за управление марсоходом «Кьюриосити». С тех пор я узнал МНОГО нового о марсоходах. Но еще больше только предстоит узнать. «Спирит», «Оппортьюнити», «Кьюриосити» и «Персеверанс» —...

[Перевод] Чему я научился, разрабатывая биллинговую систему Полгода назад я устроился в финтех-стартап, имеющий примерно 15 тысяч клиентов. Моя задача заключалась в развитии биллинговой инфраструктуры. Когда я пришёл в компанию, меня немного беспокоила узость задач моей новой должности и нового отдела. Я думал: ну какая глубина мож...

[Из песочницы] Web2Text: глубокое структурированное извлечение содержимого web-страницы Привет, Хабр! Представляю вашему вниманию перевод статьи "Web2Text: Deep Structured Boilerplate Removal" коллектива авторов Thijs Vogels, Octavian-Eugen Ganea и Carsten Eickhof. Веб-страницы являются ценным источником информации для многих задач обработки естествен...

Книга «Head First. Изучаем Go» Привет. Хаброжители! Go упрощает построение простых, надежных и эффективных программ. А эта книга сделает его доступным для обычных программистов. Основная задача Go — эффективная работа с сетевыми коммуникациями и многопроцессорной обработкой, но код на этом языке пишется ...

Трансформация цвета: поиски в прореженном столе Это обзор функциональности, появившейся в Pillow 5.4: применение трехмерных таблиц поиска (3D lookup tables, 3D LUT) для трансформации цвета. Эта техника широко распространена в обработке видео и 3D-играх, однако мало графических библиотек могли похвастаться их поддержкой до...

[Перевод] Как работает рендеринг 3D-игр: текстурирование и фильтрация текстур В третьей статье о рендеринге в 3D-играх мы узнаем, что происходит с 3D-миром после завершения обработки вершин и растеризации сцены. Текстурирование — один из самых важных этапов рендеринга, несмотря на то, что на нём всего лишь вычисляются и изменяются цвета двухмерной се...

[Перевод] KELM — внедряя графы знаний в корпус для предварительного обучения языковой модели Большие предобученные модели для обработки естественного языка (Natural Language Processing, NLP), такие как BERT, RoBERTa, GPT-3, T5 и REALM, использующие корпусы полученных из Интернета текстов на естественном языке и тонко настроенные под конкретную задачу, добились значи...

PostgreSQL Antipatterns: работаем с отрезками в «кровавом энтерпрайзе» В различных бизнес-приложениях регулярно возникает необходимость решить какую-либо задачу с отрезками/интервалами. Самое сложное в них — понять, что это именно одна из таких задач. Как правило, они отчаянно маскируются, и даже у нас в СБИС их найти можно в абсолютно разных...

В какую сторону течёт вода? Пятничная статья про столкновение задачи из собеседования с реальным миром. Есть довольна известная задача — перед вами находится металлическая труба с текущей внутри водой. Как определить в какую сторону она течёт? Её всё ещё могут задать вам на собеседованиях. По многим...

Беги, муравей. Беги В данной статье рассматривается процесс создания имитационной модели поведения муравьиной колонии (можно почитать в википедии ) в среде имитационного моделирования «AnyLogic». Данная статься носит практический характер. В ней будет рассмотрен вопрос применения муравьиного ал...

Практическое применение сервера с FPGA В данной статье будет рассказано о попытке ускорить операции над разреженными булевыми матрицами, реализованные на OpenCL, с помощью замены целевой платформы GPGPU на FPGA. Эта задача возникла при работе над библиотекой примитивов линейной алгебры, необходимых для решения ...

Технорадар Lamoda 2020: что изменилось за два года Технологический радар — диаграмма, на которой можно увидеть IT технологии и инструменты, которые мы используем в Lamoda, разделенные по областям применения и статусам. В 2018 году мы выкладывали здесь на Хабре подробную статью с расшифровкой актуального на тот момент техрада...

Facebook выплатит $52 млн модераторам в качестве компенсации за полученные на работе психологические травмы Ранее некоторые модераторы соцсети заявили о развитии посттравматического стрессового расстройства — им приходится просматривать травмирующие изображения для модерации контента. ...

Ищем максимальную разницу между соседями. User-friendly-разбор задачи по алгоритмам Привет, Хабр! Давайте поговорим про алгоритмы. Новички часто воспринимают их как что-то тяжёлое, сложное и непонятное, и отчасти это правда, но алгоритмы — это базис. А чем лучше вы знаете базис своей специальности, тем с большей вероятностью преуспеете в ней. Сегодня м...

Compositional Layout в iOS 13. Основы Добрый день, На практике iOS разработчик часто сталкивается с задачей показа большого количества информации в виде списка или в виде коллекции, как правило, для этого отлично подходят UITableView или UICollectionView. Также часто встречается задача реализации экрана, который...

[Перевод] Визуализация пересечений и перекрытий с помощью Python Изучение вариантов решения одной из самых сложных задач визуализации данных Преобладающая задача в любом анализе данных — сравнение нескольких наборов чего-либо. Это могут быть списки IP-адресов для каждой целевой страницы вашего сайта, клиенты, которые купили определённые т...

HackTheBox. Прохождение Travel. Memcache+SSRF=RCE, LPE через LDAP Продолжаю публикацию решений, отправленных на дорешивание машин с площадки HackTheBox. В данной статье разбираемся как с помощью PHP memcache и SSRF получить RCE, копаемся в базе данных и смотрим, чем опасен LDAP администратор. Подключение к лаборатории осуществляется ч...

TinyML. Сжимаем нейросеть Сейчас перед программистами стоит сложная задача - как внедрить такую громоздкую структуру, как нейронная сеть - в, допустим, браслет? Как оптимизировать энергопотребление модели? Какова цена таких оптимизаций, а так же насколько вообще обосновано внедрение моделей в небольш...

Изучаем VoIP-движок Mediastreamer2. Часть 11 Материал статьи взят с моего дзен-канала. Механизм перемещения данных Блок данных dblk_t Сообщение mblk_t Функции работы с сообщениями mblk_t Очередь queue_t Функции работы с очередями queue_t Соединение фильтров Сигнальная точка графа обработки данных Закулисная деятельно...

[Перевод] Как новая нейронная сеть Facebook решает дифференциальные уравнения Два исследователя Facebook из Парижа создали для FB новую нейронную сеть, способную решать сложные математические уравнения, даже те, которые имеют дело с интегральным исчислением. Их работа описана в статье от 2 декабря, опубликованной в архиве arXiv (хранилище научных иссл...

Как я сжимал модель fastText для реальной задачи в 80 раз в 2021 году FastText — это отличное решение для предоставления готовых векторных представлений слов, для решения различных задач в области ML и NLP. Но основным недостатком данных моделей является, то что на текущий момент обученная модель FastText на русскоязычном корпусе текстов Викип...

[Перевод] 13 проектов для Python-программистов уровня intermediate Изучение основ Python — прекрасный опыт. Но эйфория от изучения языка постепенно заменяется желанием создать что-то своими руками. И это нормально, но нужны идеи. Проблема здесь в том, что некоторые проекты либо слишком просты, либо слишком сложны для разработчика среднего...

Машинное обучение на R: экспертные техники для прогностического анализа Привет, Хаброжители! Язык R предлагает мощный набор методов машинного обучения, позволяющих быстро проводить нетривиальный анализ ваших данных. Книга является руководством, которое поможет применять методы машинного обучения в решении ежедневных задач. Бретт Ланц научит всем...

Противники вакцинации создали свое приложение для знакомств. Apple удалила его из App Store ПопМем Интересно 02.08.2021, 12:02 Противники вакцинации создали свое приложение для знакомств. Apple удалила его из App Store Apple удалила из App Store приложение Unjected, которое было создано для знакомств противников вакцинировани...

Гидродинамическое моделирование (CFD) на рельефе с помощью MantaFlow и визуализация результатов в ParaView Дисциплина Computational fluid dynamics(CFD) или, на русском языке, Вычислительная гидродинамика изучает поведение различных потоков, в том числе вихревых. Это и моделирование цунами, и лавовых потоков, и выбрасываемых из жерла вулкана камней вместе с лавой и газами и многое...

DLR RMC — часть 1. Путь из космоса на Землю Ссылка на первоисточник: http://www.robotexnik.info/publ/robotics/dlr-rmc-part1/1-1-0-13. Здесь больше порядка с оформлением, особенно, для видеороликов. Заходите! Содержание Введение Ничего необычного: один из лучших центров робототехники в мире Оберпфаффенхофен Просто ко...

Positive-Unlabeled learning and where to find it Привет! В этой статье я начну рассказ про Positive-Unlabeled (PU) learning. Расскажу, что это за область машинного обучения и в каких задачах она применяется. В конце будет немного про наше применение PU  learning для поиска коррупции в аукционах государственных закупок. Ч...

[Перевод] Распознавание маски на лице с помощью YOLOv3 YOLO или You Only Look Once — это архитектура свёрточных нейронных сетей, которая используется для распознавания множественных объектов на изображении. В 2020, на фоне пандемии, задача детектирования объектов (object detection) на изображении стала как никогда актуальной. Эт...

10 вопросов к поддержке HMS по работе с гибридными приложениями, AppGallery и эмулированию телефонов Huawei Привет, Хабр! За год количество сервисов в экосистеме Huawei Mobile Services (HMS). выросло с 9 до 31, и у разработчиков стало возникать всё больше вопросов по поддержке гибридных приложений, взаимодействию с AppGallery, использованию отдельных служб и китов. Основные площ...

Несколько соломинок для прокрастинатора В конце есть краткое содержание. Задачи надо выполнять качественно и в срок. Это основа порядка в управлении. Только когда всё делается качественно и в срок, то результаты достигаются, удовольствие получается, страна развивается. Выброс дофамина от решенной качественно и в ...

И еще один сервис проверки паспортов или опять вопрос сколько гигабайт в одном мегабайте Какое-то время назад появилась возможность уделить внимание языку Go и удачно на глаза попалась публикация «Паспортный контроль, или Как сжать полтора гигабайта до 42 мегабайт» . В статье кратко, но информативно, рассказывается о тестовой задаче по разработке сервиса проверк...

Дубайские березки: в ОАЭ возвели 3D-печатный павильон с использованием вторичного сырья Площадку перед входом в Дубайский международный финансовый центр украсили арт-инсталляцией Deciduous. Композиция выполнена на 3D-принтерах и фрезере с применением технологий 3D-печати бетоном и полимерными материалами из переработанных отходов.

Строим безопасную разработку в ритейлере. Опыт интеграции с кассовым ПО GK Что самое сложное в проектной работе? Пожалуй, свести к общему знаменателю ожидания от процесса и результата у заказчика и исполнителя. Когда мы начинали внедрять безопасную разработку в группе GK-приложений (кассового ПО) крупного ритейлера, то на входе имели вагон времени ...

Twitter заблокировали в Нигерии после удаления поста президента страны Социальную сеть Twitter, которую недавно замедляли в России, заблокировали в Нигерии на неопределённый срок. Это результат политики компании по модерации контента.

Почему бухгалтеров мы можем обучать, а программистов — нет Кажется, мы делаем всё, чтобы писать хороший код: читаем книги, слушаем подкасты, ходим на конференции и изучаем лучшие практики. Почему же результат оставляет желать лучшего? Новые языки осваиваются медленно, код превращается в адского монстра, а&nb...

Черная дыра прокрастинации: о чем не пишут в других статьях, и что на самом деле важнее всего На волне последних прокрастинационных статей на Хабре у меня сложился пазл и я понял, что именно надо делать, чтобы выкарабкаться. Я обсудил это с двумя такими же, как и я, чемпионами по прокрастинации, одним предпринимателем, спортсменом и, кажется, нашел общий знаменатель...

[Из песочницы] HTTP Error 503. Service Unavailable: случай в поддержке хостинга Работа в поддержке хостинга в основном однотипная, большинство запросов от клиентов решаются по проработанной схеме, но иногда всё же приходится сталкиваться с нетривиальными проблемами. Тогда главная задача инженера — найти тот самый — единственно верный путь, который приве...

[recovery mode] Комплекс детекции курения по фото или видео на базе Intel NUC В этом посте мы расскажем о том, как решали задачу определения факта курения посредством объектовой видеоаналитики на Intel NUC. На входе – видеопотоки с камер видеонаблюдения, которые декодируются, нарезаются на вычислителе на фреймы, а далее каждый фрейм (с учетом делит...

Международная математическая олимпиада 2020 (решаем в комментах) На этой неделе (16-26 сентября) в Санкт-Петербурге (виртуально) стартовала 61-я международная математическая олимпиада, в ней принимают участие 622 школьника из 114 стран. Первая такая олимпиада прошла в 1959 году в Румынии, и тогда в ней принимали участие представители в...

Анонс: три задачи из геномики, которые решают биоинформатики в СПбГУ Мы продолжаем раскрывать тему биоинформатики как науки из первых рук. Завтра, 15 октября, в 20:00 в наших соцсетях выступит Ольга Кунявская, младший научный сотрудник лаборатории «Центр биоинформатики и алгоритмической биотехнологии» СПбГУ. Оля в науке уже 4 года и сейча...

Обнаружение объектов с помощью YOLOv3 на Tensorflow 2.0 До появления YOLO большинство способов обнаружения объектов пытались адаптировать классификаторы для детекции. В YOLO же, обнаружение объектов было сформулировано как задача регрессии на пространственно разделенных ограничивающих рамок (bounding boxes) и связанных с ними вер...

ISOCELL Bright HM1 — сенсор, который стоит в Samsung Galaxy S20 Ultra Как мы знаем, 108-мегапиксельный сенсор в Xiaomi Mi Note 10 носит название ISOCELL Bright HMX. Как известно, компания Xiaomi разрабатывала его совместно с Samsung и даже получила эксклюзив на использование его в своих смартфонах. Но что же было дальше? Анонс Galaxy S20 Ultr...

Не решать за дизайнера задачу дизайнера Привет, Хабр. Последние 3 месяца около 40% моего рабочего времени занимает общение с дизайнерами. Про то, что дизайн — это не про нарисовать, а про спроектировать, знают давно и многие. А о том, почему это так, доступно объяснял в своем выступлении Костя Горский, в прошлом ...

[Перевод] Исследование системы типов для проверки корректности музыки Сегодня много говорят о представлении музыки с помощью языков программирования, поскольку это, с одной стороны, интересная задача для инженеров, а с другой — является частью задачи универсального описания музыки. Как это выглядит? Для многих языков созданы среды программи...

Паттерн «сага» как способ обеспечения консистентности данных Всем привет. Уже сейчас в OTUS открывает набор в новую группу курса «Highload Architect». В связи с этим я продолжаю серию своих публикаций, написанных специально для этого курса, а также приглашаю вас на свой бесплатный демо урок по теме: «Индексы в MySQL: best practices и ...

Площадка SOK открывается в Санкт-Петербурге Сеть смарт-офисов SOK расширяется и открывает первую площадку в центре Санкт-Петербурга. Помещение арендовано SOK на 7 лет. Собственником площадки является ООО «Вектор», входящее в группу компаний «Газпромбанк-Инвест» ...

Svelte: знакомимся с Действиями Недавно на Хабре появилась статья от @sanReal, где Александр рассказал о том, каким приёмам и каким возможностям Svelte он научился на собственном опыте. Я был немного удивлён не увидев в его списке упоминания одного из самых мощных инструментов фреймворка — Действий. К тому...

[recovery mode] Использование faiss для поиска по многомерным пространствам Привет! Меня зовут Владимир Олохтонов, я старший разработчик в команде автоматической модерации Авито. Осенью 2019 мы запустили сервис поиска похожих изображений на основе библиотеки faiss. Он помогает нам понимать, что фотографии уже встречались в другом объя...

Применение CQRS & Event Sourcing в создании платформы для проведения онлайн-аукционов Коллеги, добрый день! Меня зовут Миша, я работаю программистом. В настоящей статье я хочу рассказать о том, как наша команда решила применить подход CQRS & Event Sourcing в проекте, представляющем собой площадку для проведения онлайн-аукционов. А также о том, что из эт...

Hack The Box — прохождение AI. SQLi в AРI Text To Sрeach, SSH Forwarding и RCE в JDWР Продолжаю публикацию решений отправленных на дорешивание машин с площадки HackTheBox. Надеюсь, что это поможет хоть кому-то развиваться в области ИБ. В данной статье познакомимся с преобразованием текста в голос и найдем SQL иньекцию в AРI, прокинем порт через SSH, а также ...

Колесо Сансары: принципы борьбы с рутиной Под катом статья для тех, кто, с одной стороны, эмоционально сгорает в рутине, стрессует, отмечает у себя повышенную тревожность, а, с другой стороны, должен продолжать концентрироваться на рабочих задачах и как-то их вывозить. Читать дальше →

Стационарный блендер Kenwood BLP402WH: когда вроде бы неплохо, но хочется большего Kenwood BLP402WH неплохо справляется с основными задачами блендера: с его помощью можно готовить молочные коктейли и смузи, супы-пюре, замешивать жидкое тесто. Для получения более сложных блюд, густых смесей или паштетов придется приложить некоторые усилия.

Повторная обработка событий, полученных из Kafka Привет, Хабр. Недавно я поделился опытом о том, какие параметры мы в команде чаще всего используем для Kafka Producer и Consumer, чтобы приблизиться к гарантированной доставке. В этой статье хочу рассказать, как мы организовали повторную обработку события, полученного из Ka...

Не решают ли программисты противоречащие задачи (архитектура кода) Меня всегда волновал вопрос: можно ли писать код единственно правильным образом. В данной статье я через противоречие доказываю, что при изменении бизнес требований написать код так, чтобы он всегда работал без ошибок - невозможно. По-этому правильного способа написания кода...

Network automation. Случай из жизни Привет, Хабр! В данной статье мы бы хотели поговорить про автоматизацию сетевой инфраструктуры. Будет представлена рабочая схема сети, которая функционирует в одной маленькой, но очень гордой компании. Все совпадения с реальным сетевым оборудованием являются случайными. Мы ...

Волейбол глазами компьютера В прошлой статье я рассказал о своих подходах по распознаванию волейбольного мяча в игре. Задача сама по себе интересная и развивать ее можно в нескольких направлениях. Вариант 1 — продолжать исследования (в комментах к прошлой статье мелькали страшные слова SORT, YOLO итд...

Эмбеддинги пользователя в DMP. Эксперименты, оптимизация, внедрение Всем привет! Мы из команды ML проекта DMP (Data Management Platform) в AdTech Rambler Group. В этой статье поговорим про эмбеддинги.Эмбеддингом в машинном обучении принято называть вектор чисел фиксированной длины, который описывает некую сущность по ряду параметров. В нашем...

1С — Добро и зло. Расстановка точек в холиварах вокруг 1С Друзья и коллеги, в последнее время на Хабре участились статьи с хейтом в адрес 1С, как платформы для разработки, и выступлениями ее защитников. Эти статьи обозначили одну серьезную проблему: чаще всего, критики 1С критикуют ее с позиции "не осиливших", ругая проблемы, кото...

Маленькие задачи по физике Приведу несколько задач, в основном из физики. Мне они нравятся. Надеюсь они понравятся и Вам. Забудем о черных дырах, темной энергии и материи; забудем о коте Шредингера, большом взрыве и эволюции Вселенной; забудем о струнах и суперструнах; и даже о фракталах забудем. В э...

«UML. Взгляд со стороны» или «Как UML удерживает аналитиков в прошлом» Изображение с www.uml.org Статья посвящена UML и особенностям его применения в настоящее время. Немного исторических сведений, совсем немного, только основные моменты: UML зародился в 90-х годах как результат работы по создания языка объектно-ориентированного моделировани...

Как Яндекс применил генеративные нейросети для поиска ответов Только что мы представили новую версию поиска Y1. Она включает в себя комплекс технологических изменений. В том числе улучшения в ранжировании за счёт более глубокого применения трансформеров. Подробнее об этом направлении мой коллега Саша Готманов уже рассказывал в нашем бл...

Конечные автоматы на страже порядка При разработке сложных систем часто сталкиваешься с проблемой прозрачности кода, точным описанием бизнес-логики и масштабирования решения. Однажды нам поставили задачу: реализовать функциональность тарифов, в которой много бизнес-логики. При этом сроки были сжаты, да ещё и...

Hack The Box — прохождение Zetta. FXP, IPv6, rsync, Postgres и SQLi Продолжаю публикацию решений отправленных на дорешивание машин с площадки HackTheBox. Надеюсь, что это поможет хоть кому-то развиваться в области ИБ. В данной статье узнаем IPv6 адрес сервера с помощью FXP, поработаем с rsync, а также запишем ssh-ключ используя SQL-инъекцию...

Собираем нейросети. Классификатор животных из мультфильмов. Без данных и за 5 минут. CLIP: Обучение без Обучения + код Туториал: Собираем нейронную сеть на примере классификации нарисованных животных в режиме "обучения без обучения".Цель: Научиться быстро создавать классификаторы для множества задач, без данных и без разметки, используя нейросеть CLIP от OpenAI. Уровень: Туториал п...

Кластерный анализ — каждому Если вы полагаете, что фундаментальные исследования всегда скучны и с трудом находят применение на практике, то прочитайте эту статью. Старший научный сотрудник нашей лаборатории Сергей Муравьев, занимающийся автоматизацией решения задач кластеризации, рассказывает о собстве...

YouTube добавил 4 новые функции для авторов контента YouTube объявил о запуске четырёх новых функций для авторов контента. Они призваны помочь блогерам повысить эффективность работы и облегчить им модерацию каналов. Часть этих функций уже запущена, а часть – станет доступна в следующие несколько недель. Когда аудитория находит...

Epic Games обвинила Apple в шпионаже за пользователями Босс Epic Games утверждает, что это совершенно не похоже на систему модерации контента на публичном форуме или в социальной среде

[Перевод] Руководство по цвету в UX/UI-дизайне Цвет — одна из важнейших составляющих UI-дизайна. Благодаря цвету один и тот же продукт может казаться сложным и крутым или сумасшедшим. И задача дизайнера здесь — не найти и смешать красивые цвета, а создать определенную систему. В этой статье мы начнем с основ и постепенно...

Машинное обучение на языке R с использованием пакета mlr3 Источник: https://mlr3book.mlr-org.com/ Привет, Хабр! В этом сообщении мы рассмотрим самый продуманный на сегодняшний день подход к машинному обучению на языке R — пакет mlr3 и экосистему вокруг него. Данный подход основан на «нормальном» ООП с использованием R6-классов и...

Нейронная Сеть CLIP от OpenAI: Классификатор, который не нужно обучать. Да здравствует Обучение без Обучения Можете представить себе классификатор изображений, который решает практически любую задачу, и который вообще не нужно обучать? Представили? Выходит, что это должен быть универсальный классификатор? Все верно! Это новая нейросеть CLIP от OpenAI. Разбор CLIP из рубрики: Разбир...

HackTheBox. Прохождение Remote. NFS, RCE в CMS Umbraco и LPE через UsoSvc Продолжаю публикацию решений, отправленных на дорешивание машин с площадки HackTheBox. В данной статье копаемся в NFS ресурсе, разбираемся с RCE эксплоитом для CMS Umbraco и находим вектор LPE через UsoSvc с помощью PowerUp. Подключение к лаборатории осуществляется чере...

Настройка принтера этикеток XPrinter на Linux в VMware Workstation Пример для настройки в CentOS без графической оболочки, по аналогии можно настроить на любой ОС Linux. Решаю специфичную задачу, из php нужно печатать этикетки с произвольным текстом по шаблону. Поскольку на мероприятии нельзя рассчитывать на стабильный интернет, а большая ...

[Перевод] Как создать приложение для потоковой обработки данных при помощи Apache Flink Привет, Хабр! Среди рассматриваемых нами фреймворков для сложной обработки данных на Java есть и Apache Flink. Хотим предложить вам перевод неплохой статьи из блога Analytics Vidhya на портале Medium, чтобы оценить читательский интерес. Не стесняйтесь участвовать в голосова...

Математика верстальщику не нужна 2: Матрицы, базовые трансформации, построение 3D и фильтры для картинок В прошлый раз мы говорили о графиках и траекториях для покадровых анимаций, а сегодня речь пойдет про матрицы. Мы разберемся с тем, как строятся базовые трансформации в CSS, SVG и WebGL, построим отображение 3D-мира на экране своими руками, попутно проводя параллель с таки...

7 фактов о топливных фильтрах, которые вы могли не знать Топливный фильтр — неотъемлемая часть любого двигателя внутреннего сгорания. Этот нехитрый элемент играет важную роль в работе двигателя. Как ясно из названия, основная задача фильтра — не пропускать в двигатель всевозможные примеси, которые содержатся в топливе и могут повл...

OCR-конвейер для обработки документов Сегодня я расскажу о том, как создавалась система для переноса текста из бумажных документов в электронную форму. Мы рассмотрим два основных этапа: выделение областей с текстом на сканах документов и распознавание символов в них. Кроме того, я поделюсь сложностями, с которым...

Как мы сэкономили 2000 USD на трафике из Amazon S3 с помощью nginx-кэша Эта небольшая история — живое свидетельство того, как самые простые решения (иногда) могут оказаться очень эффективными. В одном из проектов руководство взяло курс на оптимизацию бюджета на инфраструктуру. В результате анализа всех статей расходов стало очевидным, что заметн...

[Перевод] Повышение читаемости кода с помощью расширений Kotlin Когда вы использовали какой-либо API-интерфейс, хотелось ли вам добавить в него новые функции или свойства?Для решения этой задачи вы можете использовать наследование (создать новый класс на базе существующего) или функцию, которая получает в качестве входного параметра экзе...

Современные портальные решения для строительной отрасли и крупного бизнеса: что, зачем и как? Популярность вывела портальные решения для внутрикорпоративных задач на новый уровень развития. Сегодня это не только площадка для информирования персонала – это платформа для поддержки бизнеса, включающая сложные процессы, интеграционные сервисы, аналитические инстру...

Искусственный интеллект в области юриспруденции. Статья 3 Введение Мы продолжаем цикл статей на тему юридического искусственного интеллекта, аспектов его разработки и перспектив практического применения на отечественном рынке. В предыдущих публикациях мы неоднократно говорили, что, по нашему мнению, разработка Legal AI может быть о...

Реклама на YouTube: форматы и разновидности Большинство брендов, производителей и различных компаний используют площадку YouTube для рекламы. Это выгодный, эффективный и надежный вариант, чтобы повысить узнаваемость и как итог улучшить качество маркетинговой программы. Остается лишь правильно выбрать оптимальный рекла...

Как оценить уровень владения Английским языком На Хабре много статей о том, как самостоятельно изучать английский язык. Но вот вопрос, а как оценить свой уровень при самостоятельном изучении? Понятно, что есть IELTS и TOEFL, но эти тесты почти никто не сдает без дополнительной подготовки и эти тесты, как говорят, оцени...

NVIDIA DGX Station A100 предлагает исследователям ЦОД-в-коробке для ИИ-задач NVIDIA представила NVIDIA DGX Station A100 — сервер петафлопсного уровня для рабочих групп. Инновационная система искусственного интеллекта второго поколения DGX Station A100 ускоряет выполнение сложных задач машинного обучения и обработки ...

R, Монте-Карло и enterprise задачи При решении практических задач с завидной регулярностью приходится сталкиваться с двумя типовыми подходами, которые выдвигаются на совещаниях или витают в воздухе. Вариант 1 — давайте решать частную задачу в общем виде. Решив ее таким образом, мы сможем попутно много чего е...

Пример использования React Stockcharts для рисования графиков и графических элементов В статье изложен материал практического использования React для решения задачи построения графиков на основе информации с финансовых рынков. Функционал графиков расширен элементами рисования и индикаторами, что позволяет дополнительно производить анализ при выборе торговой с...

Крупнейшее за пять лет обновление Google пришло в Россию Компания Google объявила о запуске в русскоязычном фирменном сервисе поиске новых алгоритмов. Благодаря технологиями машинного обучения поисковик стал намного лучше обрабатывать запросы. По словам вице-президента Google Поиска Панду Найака, это крупнейший прорыв за пос...

РТС-тендер и РФРИТ объявили о старте сотрудничества в сфере IT 2 августа 2021, Москва – Федеральная электронная площадка РТС-тендер и Российский фонд развития информационных технологий (РФРИТ) договорились о сотрудничестве в области поддержки ИТ-компаний, являющихся разработчиками как программного обеспечения, так и программно-аппаратны...

[Перевод] Используем GPU для повышения производительности JavaScript Мы, разработчики, всегда стремимся искать возможности повышения производительности приложений. Когда речь идёт о веб-приложениях, то улучшения обычно вносятся только в код. Но думали ли вы об использовании мощи GPU для повышения производительности веб-приложений? В этой с...

Создать кластер за 120 секунд: открытый курс по Managed Kubernetes Учебный центр «Слёрм» и Selectel совместными усилиями создали курс по Managed Kubernetes, доступ к урокам предоставляется бесплатно. Спикеры курса познакомят с Managed Kubernetes Selectel и научат работать с кластерами. Покажут популярные кейсы использования, разберут мул...

[Перевод] Использование ИИ для сверхсжатия изображений Управляемые данными алгоритмы, такие как нейронные сети, взяли мир штурмом. Их развитие вызвано несколькими причинами, в том числе дешевым и мощным оборудованием и огромным объемом данных. Нейронные сети в настоящее время находятся в авангарде во всем, что касается «когнити...

«Ростелеком-ЦОД» открывает в Санкт-Петербурге дата-центр на 800 стоек Дата-центр спроектирован и построен по требованиям стандарта Tier III. Все элементы инфраструктурных систем зарезервированы, вводы электропитания и телекоммуникационные трассы проходят независимыми маршрутами. Это обеспечивает бесперебойную работу дата-центра при обслуживани...

Простое сложное программирование В очередной раз увидел на Хабре статью про сложное дело под названием «программирование». И то, что программирование действительно является делом не простым воспринимается как факт и обычно не требует какого либо подтверждения. Но понятие «сложность» сродни термину «куча»...

Экспортируем данные OpenStreetMap с помощью визуального редактора на rete.js В своей работе я часто сталкиваюсь с задачей по экспорту данных из OpenStreetMap. OSM — это восхитительный источник данных, откуда можно вытащить хоть достопримечательности, хоть районы города, хоть улицы для исследований пешеходной доступности, и вообще что угодно. Вот тол...

Крупнейшее за пять лет обновление Google пришло в Россию Компания Google объявила о запуске в русскоязычном фирменном сервисе поиске новых алгоритмов. Благодаря технологиями машинного обучения поисковик стал намного лучше обрабатывать запросы. По словам вице-президента Google Поиска Панду Найака, это крупнейший прорыв...

Kotlin Native. Работаем с потоками с корутинами и без. Ч1 Всем доброго дня! С вами Анна Жаркова, ведущий мобильный разработчик компании Usetech. Совсем недавно компания JetBrains выпустила preview новой модели управления памятью. Это отличный повод сделать подробный ее разбор на практике, а также сравнить с моделью, используемой в ...

[Перевод] Как работает рендеринг 3D-игр: освещение и тени Реализация подавляющего большинства визуальных эффектов в современных играх зависит от продуманного использования освещения и теней. Без них игры были бы скучными и безжизненными. В четвёртой части анализа рендеринга 3D-игр мы сосредоточимся на том, что происходит в 3D-мире ...

[Из песочницы] Как трекать людей в масках или универсальный подход к трекингу объектов произвольной природы Введение С тех пор, как нейронные сети начали набирать популярность, большинство инженеров стали решать многие из задач ПО в области Public Safety методами deep learning. Несмотря на то что у нейросетей нет конкурентов в вопросах обнаружения (detection) и распознавания (iden...

Контенту предложили саморегулироваться Сейчас в России действуют административные подходы, которые предусматривают блокировку контента через регулятора или суд, пояснил "Коммерсанту" председатель комиссии по правовому обеспечению цифровой экономики московского отделения АЮР Александр Журавлев. Они "...

Как работает система Marketplace efficiency для сервисов доставки продуктов Привет, Хабр! Меня зовут Артём Селихов, я Product manager в команде СберМаркета, и я отвечаю за управление программными продуктами для операционных процессов, которые мы разрабатываем для наших партнеров — курьеров и экспертов по закупке. В первом посте мы уже рассказывали...

Прогнозирование временных рядов с помощью AutoML Хабр, привет! В лаборатории моделирования природных систем Национального центра когнитивных разработок Университета ИТМО мы активно исследуем вопросы применения автоматического машинного обучения для различных задач. В этой статье мы хотим рассказать о применении AutoML для...

Задача уровня «nightmare»: 4 случайные точки на сфере Мне очень понравился разбор задачи от 3Blue1Brown, выкладываю конспект для тех, кто любит изящные решения математических задач в читабельном виде. Математическая олимпиада им. Уильяма Лоуэлла Патнема (William Lowell Putnam Mathematical Competition) — математическая олимпиад...

Вырезаем SSR и ускоряем Хабр в 10 раз Здравствуйте, меня зовут Дмитрий Карловский и я… тот ещё токсичный перец. Недавно я источал свои альфа-флюиды на Альфа-банк. Ребята в ответ поступили достойно, и не стали атаковать меня в личку объяснениями, как сильно я не прав, а завели задачу на гитхабе. И даже что-то поф...

[Перевод] История потоковых мультипроцессоров Nvidia Последние выходные я потратил на освоение программирования CUDA и SIMT. Это плодотворно проведённое время закончилось почти 700-кратным ускорением моего «рейтрейсера на визитке» [1] — с 101 секунд до 150 мс. Такой приятный опыт стал хорошим предлогом для дальнейшего изучен...

Высокоскоростной PAC контроллер WISE-5580 В связи с современными требованиями, предъявляемыми к промышленным контроллерам, об открытости архитектуры, а также, в связи с бурным ростом производства PC-совместимых компьютеров, последние все чаще стали использоваться в качестве контроллеров для задач промышленной автом...

Фоновые задачи на Faust, Часть I: Введение Как я дошёл до жизни такой? Не так давно мне пришлось работать над бэкендом высоко нагруженного проекта, в котором нужно было организовать регулярное выполнение большого количества фоновых задач со сложными вычислениями и запросами на сторонние сервисы. Проект асинхронный и...

Найди флаг и не отдавай его. Как мы проводили RBKmoney CTF Привет! В этом посте мы расскажем о том, как провели первый в истории RBK.money CTF (capture the flag). Механика соревнования была примерно такой же, как и на привычных вам CTF, а вот результаты немного удивили. Впрочем, возможно, мы просто перестарались с задачами. В рамках...

NER для русского языка в Spacy 3: удобно и легко Славянские языки, в том числе и русский, считаются довольно сложными для обработки. В основном, из-за богатой системы окончаний, свободного порядка слов и других морфологических и синтаксических явлений. Распознавание именованных сущностей (далее, NER) представляется трудной...

Определяем язык текста. Сложный случай Источник изображения: AnnaElli Система «Антиплагиат» работает с текстами на разных языках. Большинство работ, поступающих на проверку, написаны на русском, английском или казахском языках. Сейчас индекс «Антиплагиата» содержит документы более чем на 50 языках. Читать дальш...

Как мы выбирали библиотеку машинного обучения для работы с естественным языком В ОТР стояла задача автоматизировать работу с обращениями в техническую поддержку пользователей ГИИС «Электронный бюджет». Для решения задачи мы решили привлечь искусственный интеллект, но сложность состояла в ограничении времени для разработки решения. Читать далее

[Перевод] О реализации библиотеки для глубокого обучения на Python Технологии глубокого обучения за короткий срок прошли большой путь развития — от простых нейронных сетей до достаточно сложных архитектур. Для поддержки быстрого распространения этих технологий были разработаны различные библиотеки и платформы глубокого обучения. Одна из осн...

[Перевод] FermiNet: квантовая физика и химия с азов В статье, недавно опубликованной в Physical Review Research, мы демонстрируем, как при помощи глубокого обучения упрощается решение фундаментальных квантовомеханических уравнений для реальных систем. При этом решается не только принципиальный научный вопрос, но и открывают...

Пишем telegram бота на языке R (часть 1): Создаём бота, и отправляем с его помощью сообщения в telegram Аудитория telegram ежедневно растёт с геометрической прогрессией, этому способствует удобство мессенджера, наличие каналов, чатов, и конечно возможность создавать ботов. Боты могут использоваться в совершенно разных целях, от автоматизации коммуникации с вашими клиентами до...

Билайн Бизнес соединяет Россию и Францию новым каналом передачи данных Поскольку рабочая площадка TechnipFMC значительно удалена от развитой инфраструктуры, Билайн Бизнес взял на себя амбициозную задачу построить наземный канал связи, который позволит оперативно осуществлять высокоскоростной обмен информацией с минимальными задержками.Маршрут к...

[Из песочницы] Реализация алгоритма определения ширины объекта с помощью ультразвукового дальномера и энкодеров на языке RobotC Доброго дня! Сегодня я бы хотел поделиться реализацией алгоритма определения ширины объекта с помощью ультразвукового дальномера и энкодеров на языке программирования RobotC (с использованием платформы VEX EDR). Предистория Недавно, мне предложили провести мастер-класс на ...

EMV 3-D Secure, или кто украл SMS с одноразовым паролем. Часть 2 В прошлой статье мы рассказали о том, как появился первый протокол надежной аутентификации для платежей по пластиковым картам 3-D Secure 1.0.2, какие задачи он решает и какими недостатками обладает. Теперь мы хотели бы рассказать о будущем технологии 3-D Secure, и почему не ...

Где порешать аналитические задачи от команд Яндекса? Контест и разбор Сегодня начинается пробный раунд чемпионата по программированию Yandex Cup. Это означает, что можно с помощью системы Яндекс.Контест решать задачи, подобные тем, которые будут в квалификационном раунде. Пока результат ни на что влияет. В посте вы найдёте условия задач трек...

Изучаем VoIP-движок Mediastreamer2. Часть 10 Материал статьи взят с моего дзен-канала. В прошлой статье мы сделали дуплексное переговорное устройство, выполняющее обмен звуковым сигналом через дуплексную RTP-сессию. В этой статье мы научимся писать фильтры и добавим сделанный своими руками фильтр в сделанное своими рук...

Задача №2. Определение популяционной структуры Мы продолжаем цикл задач, где рассказыаем, как работать с генетическими данными. Первую задачу «Узнайте пол и степень родства» уже можно решить и прислать нам ответы. Сегодня публикуем вторую. Главный приз — Полный геном. Читать дальше →

Как устроены DPU, сопроцессоры для обработки данных Специализированные процессоры ASIC для конкретных областей — один из способов «перезапустить» закон Мура и преодолеть ограничения универсальных CPU общего назначения. Сейчас это очень перспективная область развития микроэлектроники. Собственные проекты есть у Google, Amazon...

Skillbox поможет компаниям бесплатно находить сотрудников из digital-сферы А также адаптировать учебные курсы под задачи компании для развития HR-бренда. Онлайн-университет Skillbox запустил Центр карьеры, который поможет компаниям находить дизайнеров, программистов и маркетологов.  Бизнес может воспользоваться Центром карьеры, чтобы бесп...

Disaster Recovery и миграция c помощью VMware vCloud Availability. Часть 1 Всем привет! Сегодня речь пойдет о работе с VMware vCloud Availability (vCAV). Этот продукт помогает организовать Disaster Recovery (DR) и миграцию в рамках нескольких площадок облачного провайдера или переехать/восстановиться в облако сервис-провайдера с on-premise площадо...

Можно порешать: задача про лидарное облако от команды беспилотных автомобилей Яндекса Меня зовут Андрей Гладков, я разработчик в направлении беспилотных автомобилей. Сегодня я поделюсь с сообществом Хабра задачей, которая связана с важнейшим сенсором беспилотника — лидаром, и с тем, как мы обрабатываем лидарные данные. Вы можете попробовать решить задачу са...

Как мы формируем консолидированную отчетность 25 компаний, 9 стран, 6 функциональных валют… Систему и процедуры подготовки отчетности легко можно было сделать сложными и дорогими. Но мы нашли простое с технической точки зрения решение, которое очень нравится нашим пользователям, а особенно специалистам по подготовке ко...

Как я влюбился в Rust и чего мне это стоило Языков программирования на текущий момент существует превеликое множество. Одни безусловно хороши для определенных целей, другие признаются универсальными и используются многими для решения повседневных задач. В этой статье я хочу рассказать, как и почему Rust стал для меня...

Ваша первая нейронная сеть на графическом процессоре (GPU). Руководство для начинающих В этой статье я расскажу как за 30 минут настроить среду для машинного обучения, создать нейронную сеть для распознавания изображений a потом запустить ту же сеть на графическом процессоре (GPU). Для начала определим что такое нейронная сеть. В нашем случае это математиче...

FlexiNLP: какие технологии для анализа естественного языка используются в ABBYY Мы в ABBYY уже давно занимаемся решением задач Natural Language Processing (NLP). Технологии обработки естественного языка лежат в основе многих NLP-решений ABBYY для поиска и извлечения данных. С их помощью мы помогли индустриальному гиганту НПО «Энергомаш» сделать поиск п...

PostgreSQL в «Тензоре» — публикации за год Ровно год назад с рассказа о нашем сервисе визуализации планов запросов мы начали публикацию на Хабре серии статей, посвященных работе с PostgreSQL и его особенностям. Это уже пройденные нами «грабли», интересные наработки, накопившиеся рекомендации, применяемые в разработке...

C++17. Функция стандартной библиотеки std::launder и задача девиртуализации В этой статье мы попробуем разобраться с одним из самых неоднозначных и непонятных нововведений стандарта C++17 — функцией стандартной библиотеки std::launder. Мы посмотрим на std::launder с другой стороны, посмотрим на источник. Разберем что лежит в основе функции на пример...

Анимация схем в SCADA При создании HMI довольно часто встречается задача построить отображение сложной схемы связанных элементов. Это могут быть разветвленные трубопроводные схемы, электроснабжение и т.п. Можно, конечно, ограничиться только отображением ключевых элементов (задвижек, автоматическ...

Tarantool vs Redis: что умеют in-memory технологии В этой статье я хочу сравнить Redis и Tarantool. У меня нет цели сделать громогласный вывод «Tarantool лучше!» или «Redis круче!». Я хочу понять их сходства и отличия, разобраться, для каких задач какую технологию выбрать. Потому что это очень близкие на первый взгляд вещи,...

5 наивных вопросов о беспроводной зарядке, которые продолжают задавать На Хабре есть немало статей о беспроводной зарядке смартфонов, и в комментариях к каждой из них, нет-нет, да и проскользнет наивный вопрос, который местные старожилы мгновенно заминусуют, отправив комментатора учить матчасть. Мы как, не побоимся этого слова, крупнейший произ...

Хабра-анализ: важна ли длина публикации? Вы ведь знаете, что Хабр — это вам не одна популярная социальная площадка с ограничением на длину публикации в 280 символов? И хотя периодически появляются посты длиной в один абзац, они достаточно редко встречают одобрение от вас, Хабра-жители. Сегодня мы узнаем, правда ли...

HackTheBox endgame. Прохождение лаборатории Xen. Пентест Active Directory В данной статье разберем прохождение не просто машины, а целой мини-лаборатории с площадки HackTheBox. Как сказано в описании, Xen предназначен для проверки навыков на всех стадиях атак в небольшой среде Active Directory. Цель состоит в том, чтобы скомпрометировать доступ...

HackTheBox. Прохождение Magic. Password spraying. Mysqldump и LPE через sysinfo Продолжаю публикацию решений, отправленных на дорешивание машин с площадки HackTheBox. В данной статье кидаем шелл в картинке, ищем учетные данные с помощью mysqldump и повышаем привилегии через sysinfo. Подключение к лаборатории осуществляется через VPN. Рекомендуется н...

Тестирование печатных плат? «Это же просто» Те, кто занимается разработкой и производством электронных устройств, рано или поздно сталкиваются с задачей тестирования большого количества смонтированных печатных плат перед продажей. На маленьких сериях можно обойтись мультиметром чтобы проверить всё на «коленке». Однак...

[Из песочницы] Быстрое обнаружение сверхновых с помощью нейронных сетей Привет, Хабр! Хочу познакомить вас с переводом (немного адаптированным) замечательной статьи «Fast Supernovae Detection using Neural Networks» Родриго Карраско-Дэвиса из института астрофизики в Чили. Немного предыстории Астрономия — это изучение небесных объектов: звёзды, г...

[Перевод] Трансформеры как графовые нейронные сети TL;DR: перевод поста Chaitanya Joshi "Transformers are Graph Neural Networks": схемы, формулы, идеи, важные ссылки. Публикуется с любезного разрешения автора.Друзья-датасаентисты часто задают один и тот же вопрос: графовые нейронные сети (Graph Neural Networks) — п...

Технологии производства светодиодных LED экранов: Micro-LED vs. Mini-LED Изначально стояла задача разобраться, что из себя представляет Micro LED, а также Mini LED в области светодиодных экранов для внутреннего исполнения. Потому что на этом рынке происходит путаница из-за применения слов «micro, mini, nano» для экранов, созданных с использование...

Задача №3. Конвертация данных и загрузка в сторонние сервисы Сегодня публикуем последнюю задачу из цикла, в котором мы рассказываем, как работать с генетическими данными. Первая и вторая задачи уже опубликованы: их можно решить и прислать ответы нам. Предупреждаем, что эта задача занимает больше времени, чем остальные. Главный приз —...

Как преобразовать текст в алгебру Как пишут тексты в Большой Академии в ЛагадоАлгебра и язык (письменность) являются двумя разными инструментами познания. Если их объединить, то можно рассчитывать на появление новых методов машинного понимания. Определить смысл (понять) – это вычислить как часть соотносится ...

Миллион распределенных баз данных в облаке Помните детскую забаву? Поставить швабру на ладонь и удержать ее в вертикальном положении как можно дольше? В теории управления она известна под именем обратного маятника. Есть палка с грузом на конце и тележка, которая должна удерживать этот маятник в вертикальном положении...

Зона доступа: 30 способов, которые позволят разблокировать любой смартфон. Часть 2 По правде говоря, технические методы разблокировки мобильных устройств не являются самоцелью для компьютерного криминалиста. Его основная задача — получить доступ к данным, хранящимся в памяти. Поэтому, если исследователю удается извлечь информацию из устройства в обход ус...

Бесконечный скролл с баннерами, или Как обойтись тремя вьюхами Каждый разработчик под мобильные платформы постоянно сталкивается с задачей, которая не решается одним единственным способом. Всегда есть несколько путей, — какие-то быстрые, какие-то сложные, — и у каждого свои достоинства и недостатки. Бесконечный/цикличный скролл в iOS ...

Сбер покупает 85% доли в компании goods.ru По условиям сделки Сбер приобретает часть долей goods.ru, принадлежащих Группе "М.Видео-Эльдорадо", а также инвестирует в дальнейшее развитие компании goods.ru (ООО "Маркетплейс"). В результате доля Сбера в капитале goods.ru составит 85%, 10% сохраняет за...

[Из песочницы] Как использовать поиск эффективно Доброго времени суток. Сейчас мне немного за тридцать, и бо́льшую часть своей жизни я пользуюсь поиском в интернете. Так же, как большинство людей. Но, чем больше проходит времени, тем заметнее для меня становится то, что многие люди не используют и малую часть его возможнос...

[Перевод] Шпаргалка по сортировке для Data Science Сортировка данных является основной задачей для ученых и инженеров по обработке данных. Пользователи Python могут выбирать наиболее удобную из ряда библиотек со встроенными, оптимизированными опциями сортировки. Некоторые даже работают параллельно с GPU. На удивление, неко...

Хакатон: как студенты Сколтеха обучали ассистента Олега финансовым играм Сколтех провел марафон хакатонов для своих студентов — Hack Lab. Хакатоны проходили онлайн на английском языке. Два хакатона курировал Тинькофф: студенты обучали ассистента Олега новым навыкам. Задача была пересмотреть стереотип о том, что тема финансов сложная и скучная. ...

Упадок RNN и LSTM сетей Перевод: Давыдов А.Н.Мы полюбили RNN (рекуррентные нейронные сети), LSTM (Long-short term memory), и все их варианты. А теперь пора от них отказаться!В 2014 году LSTM и RNN, были воскрешены. Но мы были молоды и неопытны. В течении нескольких лет они был способом решения таки...

Agile в ИТ-компаниях. Как увидеть лес за деревьями В этой статье хотелось немного поговорить о том, как используется Agile в ИТ-компаниях. И начнем сразу с главного: для большинства таких компаний Agile в виде Scrum, Kanban, Lean или XP – это не просто эфемерная атмосфера всеобщей гибкости, а вполне себе конкретный производс...

Микшерный пульт из USB-звучки и опенсорса Иногда у меня, как у звукача аниме/гик фестивалей/конвентов, появляется задача обеспечить звуком небольшой ивент, на площадке которого нет вообще ничего из оборудования. Такие патички довольно лайтовы и располагают к экспериментам. Так, для нашего осеннего опенэйра я выбрал ...

Hack The Box. Прохождение Rope. PWN. Форматные строки и ROP используя pwntools Продолжаю публикацию решений отправленных на дорешивание машин с площадки HackTheBox. В данной статье собираем много много pwn, которые будем решать средствами pwntools. Думаю будет полезно читателям с любым уровнем осведомленности в данной теме. Поехали… Подключение к л...

HackTheBox. Прохождение Book. XSS to LFI через PDF и LPE через Logrotate Продолжаю публикацию решений отправленных на дорешивание машин с площадки HackTheBox. В данной статье эксплуатируем XSS to LFI через документ PDF, повышаем привилегии с помощью logrotten, а также посмотрим, почему уязвима регистрация с усечением полей. Подключение к лабо...

Количество ссылок в антипиратском Реестре достигло 2,8 млн "Медиа-Коммуникационный Союз" подвел итоги работы Реестра указателей страниц сайтов, нарушающих авторские и смежные права. За полтора года из поисковой выдачи было удалено 2,8 млн. ссылок на пиратский контент. Реестр создан в рамках Меморандума о сотрудничестве в сфере охра...

Хакатон на 200 человек — что нужно для организации Знаете, почему проекты в крупных компаниях делаются по полгода? Потому что один из самых медленных процессов — это общение с заказчиком для выявления деталей его потребностей. Простое уточнение ТЗ (на гвозди или на клей надо крепить) может занимать до трёх месяцев. Я сейча...

[Перевод] 5 JavaScript-библиотек для работы со строками Работа со строками может оказаться непростым делом из-за того, что она подразумевает решение множества разноплановых задач. Например, для простого приведения строки к «верблюжьему» стилю понадобится несколько строк кода: function camelize(str) {   return str.replace(/(?:^\w...

Как мы получили реалистичные лица с новых ракурсов с помощью нейросетей В этой статье вы узнаете про глубокий нейросетевой подход Neural Radience Fields — метод для генерации новых изображений сцены с различных ракурсов. Основная задача — интерполяция новых views между исходными оригинальными изображениями для получения “непрерывной сцены” из ог...

Языку программирования Python исполнилось 30 лет Время идет быстро, и Python, одному из самых популярных языков программирования современности, исполнилось 30 лет. Впервые о нем стало известно в конце февраля 1991 года, когда Гвидо ван Россум опубликовал первый выпуск Python в группе alt.sources. Работа над языком вела...

Разработка сложных компонентов: деливерим быстро, поддерживаем легко Всем привет, меня зовут Роман Пятаков! Я техлид во фронтенд-команде Lamoda. И сегодня хочу поговорить с вами о разработке сложных компонентов. Lamoda — это технически сложный продукт, которым пользуются 10 миллионов пользователей ежемесячно, насчитывающий более 100 внутрен...

[Перевод] Keras Functional API в TensorFlow В Keras есть два API для быстрого построения архитектур нейронных сетей Sequential и Functional. Если первый позволяет строить только последовательные архитектуры нейронных сетей, то с помощью Functional API можно задать нейронную сеть в виде произвольного направленного ац...

Яндекс запустил Лабораторию Толоки для быстрой обработки данных Она автоматически решает популярные задачи по обработке данных

Нейросетевой калькулятор для сложения и вычитания не очень больших чисел Мы рады представить хабросообществу наш смелый эксперимент: калькулятор, работающий на основе нейросети. Он работает следующим образом: математическое выражение преобразуется в изображение и подается на вход сверточной нейросети, которая генерирует изображение-результат. Пол...

Сверхдлинное преобразование Фурье на FPGA Всем привет! В этой статье я хочу рассказать про реализацию алгоритма сверхдлинного быстрого преобразования Фурье на ПЛИС. Написать эту статью меня побудило желание поделиться личным практическим опытом, который не хотелось бы потерять, оставив информацию только у себя в го...

[Перевод] Как решать «упрямые» уравнения? Учителя математики сотни лет мучили учеников, загоняя коз в поля странной формы. Из этой статьи вы узнаете, почему одна задачка о пасущихся козах уже более века не даёт покоя математикам. Если вы когда-нибудь сдавали экзамен по математике, то наверняка вам задавали задачку п...

Три предметно-ориентированных языка программирования для цифровой обработки сигналов В прошлый раз мы рассказывали о книгах, которые пригодятся специалистам по цифровой обработке сигналов, и обсуждали библиотеки на C++ для синтеза звука. Продолжим тему, но поговорим о ЯП под эти задачи — Faust, SOUL и Feldspar. Читать далее

[Перевод] Принцип работы планировщика задач в Linux Планирование – это процесс распределения ресурсов системы для выполнения задач. В статье мы рассмотрим его вариант, в котором ресурсом является одно или несколько ядер процессора, а задачи представлены потоками или процессами, которые нужно выполнить. Читать дальше →

Участвуем в соревновании по Data Science. Первый опыт Привет, Хабр! Давно я не писал никаких статей и, вот думаю, пришло время написать о там, как мне пригодились знания по data science, полученные по ходу обучения небезывестной специализации от Яндекса и МФТИ «Машинное обучение и анализ данных». Правда, справедливости ради на...

[Перевод] Как и зачем в Lyft улучшали Kubernetes CronJobs Прим. перев.: эту статью, в оригинале состоящую из двух частей, написал Kevin Yang — software engineer из компании Lyft, которая хорошо известна в Kubernetes-сообществе как минимум благодаря созданию Envoy. В новом материале автор делится интересным опытом миграции большого ...

В «Технополис Москва» появится новый ЦОД Об этом сообщил руководитель Департамента инвестиционной и промышленной политики Москвы Александр Прохоров."Он станет шестым среди дата-центров на территории особой экономической зоны "Технополис Москва" и будет заточен под обработку больших данных, в том чис...

Вывод внутриигровых сообщений с помощью Particle System Задача При разработке нашей игры The Unliving, мы поставили перед собой задачу по отображению различных сообщений, таких, как нанесенный урон, нехватка здоровья или энергии, величина награды, количество восстановленных очков здоровья и т.д., с помощью Particle System. Это ...

Zynq 7000. Обмен информацией между PS и PL Продолжаю повествование о том, как проходит мое изучение возможностей отладочной платы с SoC Zynq 7000 на базе отладочной платы QMTech. В этой статье я опишу то, как я решал задачу примитивного обмена данными между PS и PL с использованием baremetal application и при использ...

Сохраняем настройки и лог файл во внутренней памяти микроконтроллера Задача сохранения настроек встречается в подавляющем большинстве современных устройств. Реже, но тоже очень часто, требуется хранение лог-файлов. Если речь идет о большом устройстве построенном на Линукс и содержащей как минимум SD карту, то с этими задачами не возникает пр...

Яндекс.Дзен обновил процесс модерации контента на платформе Яндекс.Дзен запретит создавать и монетизировать контент владельцам каналов с большим числом нарушений

Как мы в SIGIR-соревновании участвовали Летом этого года на конференции SIGIR проводился Workshop On eCommerce, посвященный прогнозам намерений и рекомендаций. По традиции к воркшопу приурочили небольшое соревнование, посвященное использованию последних наработок в области RecSys. Мы в Tinkoff.AI решили немного ра...

Ученые распознали злоумышленников в шумах Результаты работы опубликованы в журнале Mathematics .Сложные системы, такие как сетевой трафик или живые организмы, не обладают детерминированными физическими законами для их точного описания и предсказания дальнейшего поведения. В этом случае важную роль играет корреляцион...

Машинное обучение. Нейронные сети (часть 2): Моделирование OR; XOR с помощью TensorFlow.js Статья является продолжением цикла статей, посвященных машинному обучению с использованием библиотеки TensorFlow.JS, в предыдущей статье приведены общая теоретическая часть обучения простейшей нейронной сети, состоящей из одного нейрона: Машинное обучение. Нейронные сети (ча...

Виртуальная реальность поможет в изучении географии Дмитрий Земцов, проректор по развитию ДВФУ: "В России реализуется комплекс мероприятий по цифровой трансформации образования. ДВФУ, как крупнейший университет в восточной части страны, участвует в этих процессах. Технологии виртуальной реальности активно проникают во вс...

Opener 2020: Самый сок Введение На протяжении всего апреля мы с командой после учёбы и работы решали увлекательные задачи в рамках конкурса Opener от компании Itransition. Вместе с конкурсом закончился наш лучший месяц на самоизоляции. Теперь, отдохнув, я готов спокойно поделиться этим опытом с ва...

Softline оснастила площадки Центра выявления и поддержки одаренных детей Свердловской области технологиями для обучения и моделирования Softline завершила оснащение двух площадок Центра выявления и поддержки одаренных детей Свердловской области мультивендорным оборудованием и программным обеспечением. Используя поставленные компанией учебные наборы, устройства и ПО ...

Анонс: как я переехал в Лондон c Revolut Завтра, 28 сентября в наших соцсетях пройдет прямой эфир об IT-эмиграции с Revolut с Дмитрием Михайловичем Дмитрий — продуктовый разработчик, он решает продуктовые задачи в Revolut, являясь при этом Senior Backend разработчиком. Полтора года назад он переехал в лондонский ...

Письменный экзамен в ШАД: условия задач и разборы. Часть первая — разогрев Мы решили поделиться с Хабром заданиями из письменного экзамена в Школу анализа данных. Если вы помните высшую математику, попробуйте решить одну или несколько задач. Если нет, можно посмотреть видео- или текстовый разбор — мы постарались сделать их максимально дружелюбными....

[Перевод] Эмуляция компьютера: интерпретатор CHIP-8, графика и стриминг текстур В прошлый раз мы остановились на том, что создали интерпретатор CHIP-8 и оснастили его системой для формирования кадров. Видеть то, что должно попасть на экран, можно в консоли. Теперь же мы собираемся взять то, что формирует интерпретатор, вынести это за пределы консоли и п...

[Перевод] ALBERT — облегченный BERT для самообучения языковым представлениям С тех пор как в 2018 году был представлен BERT, исследования в области обработки естественного языка охвачены новой парадигмой: использованием больших объемов существующего текста для предварительного обучения параметров модели на основе самообучения (self-supervision), не т...

Manipulation Process Efficiency (MPE) Benchmark Бенчмарк для технологии манипуляции Бенчмарк предназначен для оценки эффективности применения робототехнического комплекса (РТК) в задачах манипуляции предметами по сравнению с использованием ручного человеческого труда. Бенчмарк содержит следующий набор метрик(коэффициент...

HackTheBox. Прохождение PlayerTwo. Twirp, 2FA bypass, Off-By-One атака Продолжаю публикацию решений отправленных на дорешивание машин с площадки HackTheBox. В данной статье работаем с API twirp, обходим двух факторную аутентификацию, модернизируем прошивку и эксплуатируем уязвимость в кучу через атаку null byte poisoning (P.S. про Heap еще м...

[Перевод] Тематическое исследование распознавания именованных сущностей в биомедицине Не так давно у автора этой статьи возник вопрос: может ли простой метод сопоставления строк — в сочетании с некоторыми простыми оптимизациями — конкурировать с моделью, обученной с учителем, в биомедицинской задаче распознавания именованных сущностей (NER)? Автор сравнил эти...

Фильтры для кухни – разнообразие и правила выбора Сомнительное качество воды заставляет жителей искать идеальные способы для очистки, обеспечивая удаление любых загрязнений. Лучшее решение проблемы – покупка фильтра для кухни в магазине «Ecohata». Ассортимент включает огромное количество лучших предложений, способствующих и...

pg_obfuscator — обфускатор для postgres с сохранением распределения данных (на основе clickhouse obfuscator) Что делать если перед вами стоит задача нагрузочного тестирования, в проекте используется postgres и хранятся персональные данные раскрытие которых недопустимо?В этой статье мы поговорим, как готовить обфусцированные данные, чтобы тестовая база вела себя максимально похоже н...

Как абсорбционные технологии применяются в энергетике С момента возникновения энергетики как самостоятельной отрасли промышленности основной её задачей был вопрос генерации, в первую очередь, электрической энергии. Со временем, идея когенерации (теплофикации) обрела популярность, и совместная выработка электрической и тепловой ...

[Перевод] Как QA-команда GitLab использует GitLab Performance Tool Перевод статьи подготовлен в преддверии старта курса «DevOps практики и инструменты». Мы запустили ряд инициатив по улучшению производительности GitLab и нам нужен был новый инструмент для бенчмарков. Тестирование производительности — это сложный процесс, отличающийся от...

[Перевод] Лучшие инструменты с открытым исходным кодом и библиотеки для Deep Learning — ICLR 2020 Experiencebi Сложно найти на Хабре человека, который не слышал бы про нейронные сети. Регулярные новости о свежих достижениях нейронных сетей заставляют удивляться широкую публику, а также привлекают новых энтузиастов и исследователей. Привлеченный поток специалистов способствует не толь...

[Перевод] Кунг-фу стиля Linux: глобальный поиск и замена строк с помощью ripgrep Даже те, кто пользуется Linux лишь от случая к случаю, вероятно, знают о том, как работать с grep. При этом не нужно быть экспертом в сфере регулярных выражений для того чтобы без особых сложностей пользоваться grep для поиска в файлах строк, соответствующих простым последов...

В магазине приложений Xiaomi нашли «пиратские» версии платных игр Компания Xiaomi попала в новый скандал из-за своего фирменного магазина приложений.Оказалось, что в магазине приложений Xiaomi есть «пиратские» копии платных игр. Вероятнее всего, с их помощью злоумышленники получали доступ к данным пользователей.Появление подобн...

Книга «Python: Искусственный интеллект, большие данные и облачные вычисления» Привет, Хаброжители! Пол и Харви Дейтелы предлагают по-новому взглянуть на Python и использовать уникальный подход, чтобы быстро решить проблемы, стоящие перед современными айтишниками. В вашем распоряжении более пятисот реальных задач — от фрагментов до 40 больших сценар...

[Перевод] Когда фильтр Блума не подходит Я ещё с университета знал о фильтре Блума — вероятностной структуре данных, названной в честь Бёртона Блума. Но у меня не было возможности её использовать. В прошлом месяце такая возможность появилась — и эта структура буквально очаровала меня. Впрочем, вскоре я нашёл у не...

Где я и где конечный автомат? Доклад Вадима Пацева о математике во фронтенде Некоторые фронтенд-разработчики полушутливо называют себя «форма-клепатель». Это не так. Руководитель фронтенда Яндекс.Маршрутизации Вадим Пацев поставил себе задачу — на примере развития и «уточнения» одной простой задачи взаимодействия с пользователем показать: не стоит бо...

Использование Shopker для IoT Недавно я столкнулся с задачей визуализации данных от датчиков (температура, влажность, частицы PM2.5). Для решения подобных задач существует несколько бесплатных инструментов, например, Grafana + InfluxDB. Найденные мной решения показались слишком сложными и ...

Книга «Глубокое обучение: легкая разработка проектов на Python» Привет, Хаброжители! Взрывной интерес к нейронным сетям и искусственному интеллекту затронул уже все области жизни, и понимание принципов глубокого обучения необходимо каждому разработчику ПО для решения прикладных задач. Эта практическая книга представляет собой вводный к...

Коты и лебеди на выпасе: листаем книги для введения в профессию менеджера Привет! Это Кирилл, куратор потока «Менеджмент». На Хабр часто выкладывают посты про интересную профессиональную литературу. В итоге наша площадка давно превратилась в одну из самых крупных библиотек с отзывами на книги про IT, но структурировать это никто пока не пытался....

HackTheBox. Прохождение OpenAdmin. RCE в OpenNetAdmin и GTFOBins в nano Продолжаю публикацию решений отправленных на дорешивание машин с площадки HackTheBox. В данной статье мы проэксплкатируем RCE в OpenNetAdmin, покопаемся в конфигах веб сервера, прокинем порт с помощью SSH Forwarding, крякнем пароль к ключу SSH и используем технику GTFOBin...

Российские ИИ-разработчики разделили 20 млн рублей на конкурсе Up Great ПРО//ЧТЕНИЕ Конкурс Up Great ПРО//ЧТЕНИЕ направлен на создание ИИ-ассистента, способного помогать учителям выявлять логические, фактические, стилистические и другие смысловые ошибки в сочинениях школьников по русскому языку, литературе, истории, обществознанию и английскому языку. Цель ...

HackTheBox. Прохождение Traceback. Бэкдор, LUA, SSH Продолжаю публикацию решений, отправленных на дорешивание машин с площадки HackTheBox. В данной статье эксплуатируем чей-то бэкдор, получаем шелл через Luvit и возимся с SSH для LPE. Подключение к лаборатории осуществляется через VPN. Рекомендуется не подключаться с рабо...

Hack The Box. Прохождение Cache. RCE в OpenEMR, memcached и docker Продолжаю публикацию решений, отправленных на дорешивание машин с площадки HackTheBox. В данной статье эксплуатируем уязвимости в CMS OpenEMR, работаем с memcached и docker. Подключение к лаборатории осуществляется через VPN. Рекомендуется не подключаться с рабочего комп...

[Перевод] В чём состоит задача фолдинга белков? Краткое пояснение Белок бактерии Staphylococcus aureus В конце ноября команда Google DeepMind объявила о том, что её система глубокого обучения AlphaFold достигла небывалых уровней точности в решении задачи фолдинга белков – трудной проблемы из области вычислительной биохимии. В чём состои...

Еще одна модель динамического ценообразования Бывает так, что попадается какая-то задача, находится ее решение, причем довольно неплохое, но потом эта задача все равно не отпускает. Появляется навязчивая мысль о том, что у нее должно быть более оптимальное решение. Примерно так и получилось с задачей динамического ценоо...

Разбираемся в рекурсии Привет, Хабр. Про рекурсию ходит много шуток, и она традиционно считается одной из сложных для понимания тем в computer science, поэтому давайте сегодня немного о ней поговорим. А именно, давайте обсудим, как выражать доказуемо завершимые вычисления. Зачем это надо? Рекурси...

[Перевод] Размытие фона в Google Meet с расчётом ML в браузере Видеоконференции занимают всё большее место в работе и личной жизни людей. Чем лучше организован процесс с точки обработки видео и приватности, тем меньше отвлекается внимание человека от самой конференции. В рамках этой задачи мы недавно разработали фильтры размытия и замен...

Как мы построили виртуальную инфраструктуру для киберучений промышленных предприятий В этом году мы начали большой проект по созданию киберполигона – площадки для киберучений компаний различных отраслей. Для этого надо создать виртуальные инфраструктуры, «идентичные натуральным» — чтобы они повторяли типовое внутреннее устройство банка, энергетической комп...

Синхронная репликация в Tarantool Tarantool — это платформа для in-memory вычислений, где упор всегда делался на горизонтальную масштабируемость. То есть при нехватке мощности одного инстанса нужно добавить больше инстансов, а не больше ресурсов одному инстансу. С самого начала из средств горизонтального ...

В Intel готова новая нейроморфная система Pohoiki Springs В Intel сообщили о готовности облачной нейроморфной исследовательской системы Pohoiki Springs. Она способна похвастаться впечатляющей производительностью, а потребляемая мощность устройства не превышает 500 Вт. Pohoiki Springs является специализированным решением для нейром...

Xiaomi выпустила очиститель воды с 4-кратной фильтрацией Китайская компания Xiaomi сообщила о выпуске нового очистителя воды, получившего название Mijia Faucet Water Purifier.Очиститель 13 мая появится на площадке коллективного финансирования компании, где продается по цене 119 юаней ($17). В рознице стоимость составит 149 юаней (...

Регуляризация? Ортогонализация! Улучшаем компактные сети Пока другие компании обсуждают управление коллективом на удаленке, мы в Smart Engines продолжаем делиться с вами своим стеком технологий. Сегодня про оптимизацию нейронных сетей. Сделать систему распознавания на основе нейронных сетей, которая могла бы быстро работать на см...

Hack The Box. Прохождение Tabby. RCE в Tomcat, и повышаем привилегии через LXD Продолжаю публикацию решений, отправленных на дорешивание машин с площадки HackTheBox. В данной статье получим RCE в Tomcat, ломаем zip архив и повышаем привилегии с помощью LXD. Организационная информация Чтобы вы могли у...

[Из песочницы] BPF для самых маленьких, часть нулевая: classic BPF Berkeley Packet Filters (BPF) — это технология ядра Linux, которая не сходит с первых полос англоязычных технических изданий вот уже несколько лет подряд. Конференции забиты докладами про использование и разработку BPF. David Miller, мантейнер сетевой подсистемы Linux, назыв...

Как принципы IoT помогут решать сложные комплексные задачи Думаете, что Интернет вещей (IoT) — это о дешевых датчиках, собирающих данные? Вовсе нет — все гораздо сложнее и интереснее, утверждает на портале Enterprisers Project Брайан Энтони, содиректор Medical Electronic Device ...

[Перевод] Как разработать ансамбль Light Gradient Boosted Machine (LightGBM) В преддверии старта нового потока курса «Машинное обучение» представляем вашему вниманию материал о Light Gradient Boosted Machine (далее — LightGBM), библиотеке с открытым исходным кодом, которая предоставляет эффективную и действенную реализацию алгоритма градиентного буст...

«Цель SRE — надёжная система». Обзор основных метрик SRE Site Reliability Engineering (SRE) — это одна из форм реализации DevOps. SRE-подход возник в Google и стал популярен в среде продуктовых IT-компаний после выхода одноимённой книги в 2016 году. В статье опишем, как SRE-подход соотносится с DevOps, какие задачи решает инженер...

Крупнейшие суперкомпьютеры России объединят в единую сеть В мероприятии приняли участие вице-губернатор Санкт-Петербурга Владимир Княгинин, ректор СПбПУ Андрей Рудской, директор МСЦ РАН Борис Шабанов и директор Лаборатории информационных технологий им. М.Г.Мещерякова ОИЯИ Владимир Кореньков."Сегодня СПбПУ является единственным...

Orange открывает сеть лабораторий для тестирования технологии 5G Согласно исследованию Orange и исследовательской компании GlobalWebIndex, 72% организаций ожидают, что операторы смогут предоставить возможность протестировать сети 5G до их запуска в коммерческую эксплуатацию. Orange 5G Labs позволят оценить возможности и преимущества сете...

Неисповедимы пути контента или про CDN замолвим слово Дисклеймер: Данная статья не несет в себе сведений ранее неизвестных читателям, знакомым с понятием CDN, а носит характер обзора технологии Первая веб-страница появилась в 1990 году и имела размер в считанные байты. С тех пор контент масштабируется как качественно, так и ко...

Коротко о nocode-сервисах: зачем нужны, чем удобны, для чего не подойдут и где узнать о них больше С их помощью можно проверить гипотезу, запустить MVP продукта, быстро начать продажи или автоматизировать бизнес, рабочие или личные дела. Но для более сложных задач они могут оказаться дороже и медленнее. ...

В Facebook сформировали наблюдательный совет Обещанный два года назад Марком Цукербергом наблюдательный совет Facebook начнет работать в ближайшее время. Сейчас сформировали основной костяк ее состава. На первом этапе формирования наблюдательного совета, который будет рассматривать спорные вопросы модерации контента в ...

Коллеги, вы меня огорчаете В июле и августе 2020 года я, с подачи Григория Петрова, проводил для компании Evrone технические интервью на позицию Senior Golang Backend developer. И, видимо, буду вынужден продолжать проводить, о чём ниже. Задача формулировалась как «найти человека, который сможет задат...

О сотрудничестве с РФРИТ рассказал гендиректор РТС-тендер 2 августа 2021, Москва – Федеральная электронная площадка РТС-тендер и Российский фонд развития информационных технологий (РФРИТ) договорились о сотрудничестве в области поддержки ИТ-компаний, являющихся разработчиками как программного обеспечения, так и программно-аппаратны...

Apple купила стартап, который улучшает фото с помощью ИИ Камера iPhone может стать ещё лучше благодаря технологии Spectral Edge Если бы в рейтинге лаборатории DxOMark, оценивающей камеры смартфонов, была номинация «Самый необычный камерофон», в ней бы гарантированно победил Google Pixel. Всё-таки добиться от одиночной камеры спосо...

Опыт смены SAP-хостинга: как мигрировать системы, чтобы не было мучительно больно Или можно? Конечно, миграция SAP-систем — это сложный и кропотливый процесс, для успеха которого важна слаженная работа всех участников. А если миграция проводится в сжатые сроки — задача многократно усложняется. Не все решаются на это. Причин может быть несколько. Наприме...

Как использовать Google Trends для SEO: 8 задач на примерах Чем полезен Google Trends сеошнику, как правильно читать данные и какие SEO-задачи можно решить с помощью сервиса.

Росэнергоатом представил проект создания инфраструктурных площадок Первая площадка проекта - ЦОД "Калининский", с подведенной мощностью 32 МВА - предназначена для размещения ИТ-оборудования в собственных контейнерных центрах обработки данных (ЦОД) коммерческими клиентами или в контейнерных конструктивах, разработанных с учетом тре...

HackTheBox. Прохождение Sauna. LDAP, AS-REP Roasting, AutoLogon, DCSync атака Продолжаю публикацию решений отправленных на дорешивание машин с площадки HackTheBox. В данной статье находим действующего пользователя с помощью LDAP, работаем с данными автологина, а также выполняем атаки AS-REP Roasting и DCSync, направленные на получение учетных данны...

Открылся прием навыков для Маруси После прохождения модерации скилл станет доступен всем пользователям Маруси.

Наиболее полное руководство по практическому использованию Web Speech API В этой статье я хочу поделиться с вами результатами изучения основных возможностей Web Speech API (далее — WSA). Введение WSA — это экспериментальная технология, состоящая из двух интерфейсов: SpeechSynthesis (интерфейс для перевода текста в речь) и SpeechRecognition (интер...

Задачи и разборы экзамена ШАД. Часть вторая — с визуальными приёмами Набор в ШАД продолжается, а тем временем мы с Егором Хайруллиным Mikari разобрали ещё несколько задач из письменного экзамена 2019 года (первая часть — здесь). Сначала пробуйте свои силы и постарайтесь решить задачи самостоятельно — например, номер 8 вообще не содержит форму...

Корректирующие коды. Начало новой теории кодирования Проблемы информационной безопасности требуют изучения и решения ряда теоретических и практических задач при информационном взаимодействии абонентов систем. В нашей доктрине информационной безопасности формулируется триединая задача обеспечения целостности, конфиденциальност...

DataArt запустил бесплатную платформу Kiddo — онлайн-задачник для школьников, изучающих Питон Пополнить базу собственными задачами может любой желающий, а на свой сайт встроить Kiddo не сложнее, чем плеер YouTube. Об идее детской образовательной площадки и ее реализации во время карантина рассказал Денис Цыплаков — Solution-архитектор DataArt, вдохновитель проекта....

Почему не все тестовые задания одинаково полезны: разбор одного фееричного провала Всем привет, это PsyHaSTe и сегодня я хотел бы рассказать о том, куда меня занесла нелегкая в процессе оптимизации и рефакторинга кода решения тестового задания из статьи товарища novar (кто пропустил — рекомендую ознакомиться). Какие проблемы были у этого решения? Почему в...

Microsoft разработала ИИ-систему, преобразующую простые текстовые запросы в код Корпорация Microsoft на конференции для разработчиков Microsoft Build, которая прошла несколько дней назад, представила интересную новинку. Это модель обработки естественного языка GPT-3 от OpenAI, позволяющая создавать приложения с минимальным знанием языков программиров...

Второе место на Международной математической олимпиаде 2020 Ура! Сборная российских школьников заняла второе место! Золотые медали завоевали Данила Демин из Сочи (36 баллов) и Алексей Львов из Новосибирска (36 баллов). Серебро взяли Иван Гайдай-Турлов (25), Антон Садовничий (29) из Москвы, Данил Сибгатуллин (29) из Москвы и Казани...

[Перевод] Технологии фронтенд-разработки, на которые вы, возможно, не обратили внимания «Хочешь жить — умей вертеться». Это — про работу фронтенд-программиста. Для того чтобы успешно справляться со своими обязанностями, такому специалисту приходится решать массу задач и необходимо обладать множеством способностей. Очень важно, кроме того, не забывать о главной ...

HackTheBox. Прохождение Obscurity. OS Command Injection и Race Condition Продолжаю публикацию решений отправленных на дорешивание машин с площадки HackTheBox. В данной статье эксплуатируем уязвимость в программном коде python, а также выполняем атаку Race Condition. Подключение к лаборатории осуществляется через VPN. Рекомендуется не подключа...

Руководство по Node.js для начинающих. Часть 4 Доброго времени суток, друзья! Продолжаю публиковать перевод этого руководства по Node.js. Другие части: Часть 1 Часть 2 Часть 3 Часть 4 Файл package-lock.json В пятой версии Node.js был представлен файл package-lock.json. Что это такое? Для чего он нужен, если есть ...

10 фильмов про гениальных математиков, которыми хочется восхищаться Герои этих картин решают самые сложные задачи — не только на доске, но и в обычной жизни.

Устройство гетерогенного кластера выполнения задач. Доклад Яндекса Тысячам разработчиков в Яндексе каждый день нужно решать и выполнять множество самых разных задач: от простых скриптов, запускаемых по расписанию, до сложных релизных пайплайнов. Как построить эффективную систему выполнения задач общего назначения? Как сделать ее отказоустой...

Поверхностное моделирование в T-FLEX CAD 17 - взгляд со стороны математики Авторы: Тимофеев Сергей, программист-разработчик, Батюченко Игорь, руководитель группы разработки ЗАО «Топ Системы».В статье описывается теоретическая база работы новых операций поверхностного моделирования в T-FLEX CAD 17, а также их основное назначениеДрузья, привет!Доволь...

[Перевод] Fiber’ы — новая фича в PHP 8.1 PHP пытается восполнить недостаток возможностей в своей кодовой базе, и Fiber’ы — одно из значимых нововведений. Они появились в PHP 8.1 в конце 2020 и привнесли в язык своего рода асинхронное программирование. Файберы представляют собой легковесные потоки исполнения (извес...

Собираем «цепочки» с помощью window functions Иногда при анализе данных возникает задача выделения «цепочек» в выборке — то есть упорядоченных последовательностей записей, для каждой из которых выполняется некоторое условие. Это может быть как условие от данных самой записи, так и сложное выражение относительно одной и...

HackTheBox. Прохождение Patents. XXE через файлы DOCX, LFI to RCE, GIT и ROP-chain Продолжаю публикацию решений отправленных на дорешивание машин с площадки HackTheBox. В данной статье эксплуатируем XXE в сервисе преобразования DOCX документов в PDF, получаем RCE через LFI, копаемся в истории GIT и восстанавливаем файлы, составляем ROP цепочки с помощью...

Sony представила первый в мире датчик изображения с собственным процессором искусственного интеллекта Компания Sony представила два новых датчика изображения: IMX500 и IMX501. Они интересны тем, что это первые датчики, которые способны обрабатывать задачи искусственного интеллекта собственными силами. То есть все необходимые вычисления производятся в самих датчиках. Для...

[Из песочницы] Blender 3D для 3D печатников Считается, что полигоналка не подходит для вещей физического мира. Верная позиция! Но часть задач всё-таки можно закрыть полигональным моделированием. Собрал здесь ответы на четыре самые частые и неочевидные проблемы. Читать дальше →

SQL HowTo: пишем while-цикл прямо в запросе, или «Элементарная трехходовка» Периодически возникает задача поиска связанных данных по набору ключей, пока не наберем нужное суммарное количество записей. Наиболее «жизненный» пример — вывести 20 самых старых задач, числящихся на списке сотрудников (например, в рамках одного подразделения). Для различны...

Цифровая логистика: решение транспортной задачи спроса и предложения с помощью библиотеки DOcplex от IBM Всем привет, меня зовут Дмитрий Кузин (Application Development Senior Analyst в Accenture), и в своей статье я делюсь историей о том, как запрос на решение задачи в корпоративной рассылке привел к освоению Python библиотеки DOcplex от IBM, предназначенной для решения оптими...

Сложная логическая задача от Альберта Эйнштейна Учёный утверждал, что только 2% людей могут решить в уме эту задачу (так говорят в «Википедии»).

«Почта России» запустила торговую площадку лучше AliExpress Наиболее распространенной и известной торговой площадкой на российской территории, где можно купить самые разные различные товары из множества категорий, является AliExpress. Ежемесячно более чем 22 млн россиян себе что-либо приобретают с ее помощью, находя ее Читать полную...

Использование кода MATLAB в проектах LabVIEW NXG Предположим, существует некий проект, где перед двумя разработчиками стоит задача расчёта/сбора каких-либо данных, а также их грамотной визуализации. При этом, один из разработчиков хорошо разбирается в матанализе или физике и имеет представление о том, как эта задача может ...

DeepMind с помощью ИИ создаёт масштабную карту белков человека Исследовательская лаборатория искусственного интеллекта DeepMind создала самую полную на сегодняшний день карту белков человека. Для этого использовались возможности ИИ. Компания бесплатно публикует данные, а некоторые ученые сравнивают потенциальное влияние этой работы с пр...

HR и таланты, эксперты и креатив: как прошел восьмой хабрасеминар Мы в контент-студии часто решаем HR-задачи бизнеса и знаем, что HR-имидж для компаний — это долгосрочный проект. Из чего он складывается, что и как работает и какой контент для него нужен, мы разобрали на нашем семинаре 28 ноября. Под катом — аргументы против звезд и за мо...

5 самых известных проектов, написанных на Golang О языке программирования Golang, созданном корпорацией Google, на Хабре рассказывали много и подробно, так что мы не будем в очередной раз обсуждать достоинства этого инструмента. Лучше поговорим об известных проектах, которые написаны на Go — они являются доказательством...

ИИ повышает производительность труда в сельском хозяйстве Cognitive Agro Pilot - это система автономного управления сельскохозяйственной техникой (зерноуборочным комбайном, трактором, опрыскивателем) на базе технологий искусственного интеллекта, которая позволяет механизатору доверить управление техникой роботу-помощнику, при этом ...

Капля в море: Запуск Drupal в Kubernetes Я работаю в компании Initlab. Мы специализируемся на разработке и поддержке Drupal проектов. У нас есть продукт для быстрого создания Ecommerce решений, основанный на Drupal. В 2019 году мы начали решать задачу построения масштабируемой и отказоустойчивой инфраструктуры для...

Выполняем глубокое обучение быстро при помощи Fast AI Нейронные сети повсеместно используются для выполнения самых разных задач, можно даже сказать, что это самый настоящий «универсальный солдат». Однако, может показаться, что начать работать с нейросетями довольно сложно, несмотря на наличие огромного количества информации в и...

Заставляем компьютер выводить общие законы физики из наблюдений Как правило, компьютеры в естественных науках занимаются либо получением чисел из чисел, либо выводом формул из формул. Попытаемся решить более экстравагантную задачу — из набора численных данных вывести формулы общих физических законов, причём не только неизвестные параметр...

[Перевод] 6 мощных возможностей CSS, которые позволяют обойтись без JavaScript В последнее время часто сравнивают CSS и JavaScript, споря о применении этих технологий для решения определённых задач. Споры становятся жарче по мере появления новых замечательных возможностей CSS, которые позволяют упростить решение множества задач и отказаться при этом от...

Анализируем причинно-следственные связи метрик ВКонтакте Всем привет, меня зовут Анвер, я работаю в команде Core ML ВКонтакте. Одна из наших задач — создавать и улучшать алгоритмы ранжирования для ленты новостей. В этой статье расскажу о том, как можно применять для этого причинно-следственный анализ — чтобы в результате сделать с...

Hack The Box. Прохождение Dyplesher. Memcached, Gogs, RCE через создание плагина и LPE через AMQP Продолжаю публикацию решений, отправленных на дорешивание машин с площадки HackTheBox. В данной статье мы получим хеши пользователей благодаря memcached, разбираемся с GIT репозиториями, пишем плагин с бэкдором на Java, анализируем трафик и повышаем привилегии благодаря R...

РТС-тендер и РФРИТ объявили о старте сотрудничества в сфере IT 2 августа 2021, Москва – Федеральная электронная площадка РТС-тендер и Российский фонд развития информационных технологий (РФРИТ) договорились о сотрудничестве в области поддержки ИТ-компаний, являющихся разработчиками как программного обеспечения, так и программно-аппаратны...

Ещё один велосипед: храним юникодные строки на 30-60% компактнее, чем UTF-8 Если вы разработчик и перед вами стоит задача выбора кодировки, то почти всегда правильным решением будет Юникод. Конкретный способ представления зависит от контекста, но чаще всего тут тоже есть универсальный ответ — UTF-8. Он хорош тем, что позволяет использовать все сим...

Книга «Совершенный алгоритм. Алгоритмы для NP-трудных задач » Привет, Хаброжители! Алгоритмы — это сердце и душа computer science. Без них не обойтись, они есть везде — от сетевой маршрутизации и расчетов по геномике до криптографии и машинного обучения. «Совершенный алгоритм» превратит вас в настоящего профи, который будет ставить за...

[Из песочницы] Конфуций и Маргарита Вступление Соревнований по машинному обучению как и платформ, на которых они проводятся, существует немало и на любой вкус. Но не так часто темой контеста является человеческий язык и его обработка, еще реже такое соревнование связано с русским языком. Недавно я принимал у...

[Перевод] Все дело в виртуальном «прянике»: Uber создал алгоритм, способный обыграть человека в игре Atari В ИИ-лаборатории Uber AI Labs создали новое семейство алгоритмов Go-Explore. В основе алгоритма — обучение с подкреплением. По эффективности Go-Explore превосходит большинство существующих разработок при испытании на классических играх Atari 1980-х годов. ИИ от Uber проше...

Учиться, учиться, и ещё раз учиться? TLDR: крохотные модельки обошли модные графовые нейронки в предсказании свойств молекул. Код: здесь. Берегите Природу. ФОТО: Андерс Хеллберг для Wikimedia Commons, модель — Грета Тунберг Необученная графовая свёрточная нейронная сеть [1] (uGCN) со случайной инициализацией ...

На сайте-музее Winamp выложили 65000 скинов плеера Разработчик из Facebook Джордан Элдридж (Jordan Eldredge) создал виртуальный музей Winamp в память о любимом плеере. На площадке можно бесконечно скроллить темы и ностальгировать по ушедшей MP3-эпохе. Мы провели здесь несколько часов, потратив это время далеко не впустую. ...

Компания Huawei открыла первый в России ЦОД на ARM-технологии Главной целью построения дата-центра является предоставление заказчикам и партнёрам Huawei доступа к передовым серверам Taishan, которые построены на вычислительной архитектуре ARM. И это делает его уникальным: в мире насчитывается менее десятка центров обработки данных, кот...

[Из песочницы] Геокодирование. Как привязать 250 тысяч адресов к координатам за 10 минут? Привет, Хабр! В этой статье я хотел бы поделиться опытом решения маленькой проблемы с большим количеством адресов. Если вы когда-либо работали с API геокодирования или пользовались онлайн инструментами, то думаю вы разделяете мою боль ожидания результата в течение несколь...

Mail.ru Group запустила ежегодный конкурс для дизайнеров Russian Design Cup — его общий фонд составит 650 тысяч рублей Russian Design Cup проводится уже десять лет — за это время в турнире участвовали 1467 дизайнеров.Mail.ru Group запустила десятый ежегодный конкурс Russian Design Cup 2020 для начинающих и опытных графических дизайнеров и дизайнеров интерфейсов.Отборочный тур пройдет с 15 но...

Алгоритм распознавания ценников, который работает даже на терминалах сбора данных Привет, Хабр! Сегодня мы продолжаем нашу классическую серию статей про то, как с использованием методов обработки изображений и распознавания образов сделать что-то полезное с практической точки зрения. Сегодня речь пойдет о задаче распознавания ценников. Обычных ценников то...

Немного об ускорении программы: распараллеливание (ручное или автоматическое) на базе сверхоптимистичных вычислений Здравствуйте, уважаемые читатели. В этой публикации речь пойдет о такой (уже ставшей привычной) вещи как ускорение работы программы путем применения параллельных вычислений. Технологии организации таких вычислений известны – это и обычное многопоточное программирование, и пр...

Мы опубликовали современный Voice Activity Detector и не только Всегда при работе с речью встает несколько очень "простых" вопросов, для решения которых нет большого количества удобных, открытых и простых инструментов: детекция наличия голоса (или музыки), детекция наличия цифр и классификация языков. Для решения задачи детек...

ViewSonic тестирует технологию цветовой слепоты совместно с организацией TÜV SÜD Компания ViewSonic объявила о тестировании функции цветовой слепоты совместно с TÜV SÜD, это экспертная организация по безопасности и качеству. Функция цветовой слепоты ViewSonic состоит из двух режимов - режима цветового фильтра для пользователей с дефицитом цветового зрени...

Улучшаем карму: раскручиваем гайки на Хабре Карма была одним из первых механизмов, появившихся на Хабре. И сколько она существовала, столько же времени были посты о том, что она работает не так, как ожидает конкретный автор. И что если срочно не принять меры, то Хабр вот-вот загнётся.Большинство предложений разбивалис...

Сегментация данных с видеокамеры В современном мире задача сегментации как оказалось решается на раз-два, хотя я думал что это что-то сложное и удивительное. Все что нужно, это прочитать пару статей, установить определенные библиотеки и разметить данные, на все про все нужно пару часов времени, кроме создан...

Эксперимент в распознавании рукописных текстов на кириллице Распознавание рукописного текста (англ. Handwritten Text Recognition, HTR) - это автоматический способ расшифровки записей с помощью компьютера.  Оцифрованный текст рукописных записей позволило бы автоматизировать бизнес процессы множества компаний, упростив работу чело...

HackTheBox. Прохождение Mango. NoSQL инъекция и LPE через JJS Продолжаю публикацию решений отправленных на дорешивание машин с площадки HackTheBox. В данной статье эксплуатируем NoSQL инъекцию в форме авторизации, а также повышаем привилегии через JJS. Подключение к лаборатории осуществляется через VPN. Рекомендуется не подключатьс...

Процессоры Ryzen 5000 раскупили за считанные минуты. Вскоре они появились на eBay по завышенным ценам Как и ожидалось, едва AMD начала продажи нового поколения процессоров Ryzen — чипов Ryzen 5000 на архитектуре Zen 3, — как они были мгновенно раскуплены. К сожалению, многие проданные единицы оказались в руках спекулянтов. Ресурс Tom’s Hardware сообщает, что площадку eBay на...

«Резни не будет» — рассказ о переводе «Червя» В конце прошлого года случилось давно ожидаемое литературное событие — группа переводчиков, которая в течении пяти лет переводила роман «Червь» известного канадского писателя Джона МакКрэя, пишущего под псевдонимом «Wildbow», наконец-то завершила работу. Если вы не слыша...

Общий финансовый анализ на Python (Часть 1) В прошлой статье рассмотрено как можно получить информацию по финансовым инструментам. Дальше будет опубликовано несколько статей о том, что первоначально можно делать с полученными данными, как проводить анализ и составлять стратегию. Материалы составлены на основании публи...

Умный аналитик – глупый разработчик vs. глупый аналитик – умный разработчик Или как понять, когда остановитьсяКак-то раз мой коллега, лид разработки, после затяжного спора о том, что должно быть в системной спецификации, подошел ко мне и спросил:— Скажи, а зачем нам вообще нужны аналитики?— И действительно, зачем? – подумал тогда я и написал заявлен...

Как мы обрабатываем жалобы пользователей с помощью JIRA (REST API) В наше время мало какой веб-сервис или приложение обходится без функционала, где пользователи могут пожаловаться (уведомить, зарепортить) на различные виды контента, будь то грамматическая ошибка в тексте, ошибочные формулировки, неинтересный или не информативный контент (к...

Министерства и ведомства подготовят «дорожные карты» по внедрению ИИ-решений 22 августа прошла стратегическая сессия по искусственному интеллекту (ИИ) для руководителей цифровой трансформации (РЦТ) федеральных органов исполнительной власти. Сессия прошла на площадке Корпоративного университета Сбербанка, в ней приняли участие Заместитель Председател...

Google разгонит старые Android-смартфоны через Google Play У Android-смартфонов уже давно нет проблем с производительностью. Сегодня даже откровенно недорогие модели с процессорами начального класса работают абсолютно плавно и без задержек. Однако производительность – это не только отсутствие зависаний, но и реальная вычислительная...

3D-аркада в браузере: как мы сделали игру на React + Redux Привет, Хабр! В не такие уж далёкие годы, на первом курсе «программистского» факультета, мне нравилось задавать товарищам по учёбе вопрос: «Зачем вы вообще пошли сюда учиться?» Точной статистики ответов я, конечно, не вёл, но доподлинно помню: больше половины хотели делать и...

[Перевод] Полноэкранное зацикленное слайд-шоу из изображений и видеофайлов на JavaScript Недавно я подумал о том, что было бы неплохо сконвертировать кучу имеющихся у меня GIF-файлов в формат MP4 ради экономии места на картах памяти. Мне хотелось сделать так, чтобы полученные видеофайлы можно было бы смотреть в зацикленном виде. QuickLook на Mac, что весьма печа...

ВТБ и «Ростелеком» создали сформированный искусственным интеллектом денежный индекс технологий Для формирования индекса: на основании анализа совместных упоминаний технологий и компаний в массивах данных формируются технологические кластеры компаний; на основании открытой информации о публичных компаниях для каждого кластера формируются инвестиционные тренды на основе...

А ваш фильтр Калмана правильно работает? Фильтр Калмана является одним из самых популярных алгоритмов фильтрации. Он широко распространен в машинном обучении, навигационных системах, автопилотируемых устройствах и пр.В открытых источниках можно встретить множество работ, статей и книг по тому, как работает этот заг...

Грани честности и Джон Доу Я, где-то с 2005 года, с перерывами, работаю в компаниях, которые решают задачи за деньги. Ну это когда клиент приходит, просит чего-то ему запрограммировать, мы делаем, и он нам платит. Там есть и проекты, но в тексте – только про разовые задачи. Да, это про 1С. Не про каку...

[Из песочницы] POST запрос, составное содержимое (multipart/form-data) Передача составных данных методом POST В жизни любого программиста попадаются задачки, которые человека цепляют. Вот не нравится стандартный метод решения и все! А порой бывает, что стандартные решения не подходят по какой-то причине. Некоторые люди обходят такие задачи сто...

[Перевод] Простой подход к работе с отзывчивыми изображениями Спецификация по отзывчивым изображениям — это фантастический документ, в котором описано множество вариантов использования таких изображений. Но опыт подсказывает мне, что чаще всего при работе с ними нужно знать лишь о том, как отдавать клиенту копии одного и того же изобра...

Улучшая интерфейс: как связаны дизайн и успех продукта Знаменитый древнеримский инженер и архитектор Витрувий говорил, что архитектура обязательно должна обладать тремя качествами: firmitas (прочность), utilitas (функциональность), venustas (красота). Это верно и для архитектуры пользовательско...

Первый обзор 3D принтера Hercules G2. Инженерный 3D принтер 2020 года от Imprinta. Всем привет друзья, с Вами 3DTool!Часто ли происходят такие изменения, которые влияют на большое количество людей, сообщества, а иногда на целые рынки? Не часто, да и не каждая революционная идея способна изменить представление о том, что привычно, нормально и «само собой». ...

Как сделать хороший короткий доклад Конец мая и начало июня — традиционное время защиты дипломов в вузах. Помимо самой выпускной работы, студентам нужно подготовить короткое (на 7–10 минут) выступление перед экзаменационной комиссией, а также сделать презентацию. И зачастую для студента подготовить нормальный ...

Добавление своих полей в отчет Pytest Столкнулся с задачей модификации html-отчета при работе с pytest, в результате чего нашёл удобное для своей задачи решение, хочу им поделиться — возможно кому-то пригодиться. * Все картинки кликабельны Читать дальше →

[Перевод] Deep Q Trading: объектно-ориентированный код на R Привет! Это перевод еще одной моей статьи, посвященной обучению с подкреплением (reinforcement learning). Эту итерацию даже предложили запостить в блоге Веды аналитики. :) В двух прошлых статьях на эту тему: 1 и 2 я пробовал создать и запустить обучение с подкреплением д...

Инжиниринг производительности систем хранения данных Всем привет! Каждый день наша большая и дружная команда инженеров решает сложные задачи и вносит вклад в создание высокотехнологичных продуктов — систем обработки и хранения данных. Мы решили познакомить вас с их рутиной поближе, и сегодня начинаем серию интервью с коллегами...

Краткий обзор исследования «News recommender system: a review of recent progress, challenges, and opportunities» По итогам прочтения статьи «News recommender system: a review of recent progress, challenges, and opportunities» написал тут небольшие заметки о наиболее интересных, с моей точки зрения, моментах этого исследования.Излишне говорить о важности систем рекомендации новостей, не...

n-Queens Completion Problem — линейный алгоритм решения EricGrig Предисловие Я хотел бы начать предисловие со слов благодарности двум замечательным программистам из Одессы: Андрею Киперу (Lohica) и Тимуру Гиоргадзе (Luxoft), за независимую проверку полученных мною результатов, на начальном этапе исследования. 1. Статья «Line...

Xiaomi представила Mi TV Lux Xiaomi официально представила технологию Mi TV Lux, которая позволит заметно улучшить качество изображения на новых телевизорах компании. Пока что информации о том, когда именно данная технология будет реализована у нас нет, но производитель неплохо справляется с поставленно...

Дипфейк видео по одному кадру пример работы First Order Motion Model Можно ли из одной фотографии сделать целый фильм? А записав движения одного человека, заменить его на другого в видео? Безусловно, ответ на эти вопросы, крайне важен для таких сфер как кинематограф, фотография, разработка компьютерных...

HackTheBox. Прохождение Forwardslash. LFI, backup и шифрованный том Продолжаю публикацию решений отправленных на дорешивание машин с площадки HackTheBox. В данной статье перечисляем директории и поддомены на сайте, эксплуатируем LFI, делаем бэкап недоступного файла, а также монтируем шифрованный том. Подключение к лаборатории осуществляе...

7 слов в английском, которые встречаются в СМИ реже чем 3 случая на 100 миллионов В английском языке уже больше миллиона уникальных слов — именно такие результаты дал масштабный анализ литературы, который совместно проводили Гарвардский университет и компания Google. Лексикон языка увеличивается в среднем на 8500 новых слов каждый год. С такой же скоро...

Переключение контекста и простой вытесняющий планировщик для CortexM С каждым годом курсовые для моих студентов становятся все объемнее. Например, в этом году одним из заданий была разработка метеостанции, ведь только ленивый не делает метеостанции, а студенты они по определению не ленивые, поэтому должны её сделать. Её можно быстро накидат...

[recovery mode] Кросскомпиляция выполняемых файлов Rust для Windows из Linux Наверное не будет уж очень удивительным если я тут, на IT площадке Хабра, скажу что я иногда балую себя программированием. Основная OS у меня Linux, но иногда приходится собирать исполняемые файлы и для Windows. И естественно что перегружаться в Windows только для сборки exe...

«Надоело ждать»: разработчик выпустил неофициальную Android-версию Clubhouse Написал за один день, работает почти всё — нет уведомлений, модерации и создания комнат.

STM32MP1 — ядра + Linux = идеальный микроконтроллер По роду своей деятельности занимаюсь разработкой различных приборов: измерительных, управляющих, контролирующих и т.п. В подавляющем большинстве устройство делится на 2 части: Требующий больших ресурсов микроконтроллера и не требующий жесткого реального времени графически...

VxLAN фабрика. Часть 2 Привет, Хабр. Продолжаю цикл статей по технологии VxLAN EVPN, которые были написаны специально к запуску курса "Сетевой инженер" от OTUS. И сегодня рассмотрим интересную часть задач — маршрутизацию. Как бы ни банально это звучало, однако в рамках работы сетевой фаб...

WayRay откроет производственную площадку в Швейцарии Российско-швейцарский стартап WayRay, разработчик голографических дисплеев дополненной реальности, завершает строительство производственной площадки и технологического центра в Цюрихе. Запуск объекта под названием Sanctuary запланирован на октябрь 2021 года. Для этого Wa...

Решение ВКС на 360 градусов для ультра компактных переговорных комнат В прошлой статье Панорамное решение ВКС для ультра компактных переговорных комнат мы рассмотрели решение ProfAV Panorama 180, которое закрывает задачу видео захвата всех участников в очень тесных помещениях.Это решение применимо в классической планировке - когда телевизор и ...

Три задачи из геномики, которые решают биоинформатики в СПбГУ Недавно на нашем ютуб-канале выступила Ольга Кунявская, младший научный сотрудник лаборатории «Центр биоинформатики и алгоритмической биотехнологии» СПбГУ. Оля в науке уже 4 года и сейчас учится на втором курсе магистратуры НИУ ВШЭ — Санкт-Петербург по направлению Software...

Backup as a Service: три пути решения одной задачи Перефразируя известного киногероя, «Бэкапы — это хорошо. Бэкапы — это надежно». И чем больше опций для создания резервных копий есть у провайдера, тем лучше: клиенты получают возможность выбрать ровно то, что требуется бизнесу, ни больше, ни меньше.В облаках «ИТ-ГРАД» и #Clo...

Python (+numba) быстрее си — серьёзно?! Часть 2. Практика Это вторая часть статьи про numba. В первой было историческое введение и краткая инструкция по эксплуатации numba. Здесь я привожу слегка модифицированный код задачи из статьи про хаскелл «Быстрее, чем C++; медленнее, чем PHP» с более детальными бенчмарками, графиками и пояс...

Как прошёл п̶е̶р̶в̶ы̶й̶ второй митап по Android от Tinkoff Всем привет! Я — Александр Гузенко, ведущий разработчик в компании Тинькофф. И так сложилось, что я постоянно топлю за какую-то движуху по шарингу знаний, курирую финтех школу по андроиду и люблю ходить на конференции и митапы. Примерно полтора месяца назад я загорелся идее...

4.  Континент 4 Getting Started. Веб-защита Приветствую всех в четвертой статье, посвященной Континент 4. В данной статье рассмотрим защиту от вредоносных веб-сайтов. Разберем работу SSL-инспекции, создадим профиль для работы с веб-фильтрами и настроим портал аутентификации. В Континент 4.1 предусмотрен механизм усиле...

Загрузка и обработка изображений в .NET Core В этой статье я хочу рассказать о своём опыте реализации механизма загрузки изображений в .NET Core приложении с последующим их ресайзом и сохранением в файловой системе. Для обработки изображений я использовал кроссплатформенную библиотеку ImageSharp от Six Labors. Существу...

Алиса читает тексты на сайтах в Яндекс.Браузере для Android В Яндекс.Браузере для Android теперь можно не только читать статьи и новости, но и слушать их с помощью Алисы. Если хочется расслабиться или, наоборот, делать несколько дел одновременно и работать с разными вкладками или приложениями, ...

ВТБ запустил технологию найма персонала на основе искусственного интеллекта В ходе автоматизации подбора внедряется система оценки кандидатов на основе искусственного интеллекта, позволяющая проводить цифровое профилирование должности. Имея в базе профили лучших сотрудников из различных референтных групп, система может строить предиктивные модели эф...

Книги для начинающих подкастеров: что почитать про заработок и монетизацию разговорных передач Решил перепостить с другой площадки материал dmitrykabanov в качестве продолжения его более ранней подборки «Вышел на дистанционку — запустил подкаст: что для этого почитать». Читать дальше →

[Перевод] Назад в Будущее: какие подходы NLP будут востребованы на NIPS 2020 Стремительно и неотвратимо приближается ключевое событие года в области Data Science: конференция NIPS 2020, запланированная на 6-12 декабря 2020. Традиционно на самом масштабном событии года будут представлены значимые результаты, свежие идеи и перспективные подходы в разли...

Онлайн-конференция KasperskyOS Night: доклады о нестандартных задачах Во всём мире найдётся немного компаний, разрабатывающих свою ОС с нуля (то есть не просто вариант Linux). Поэтому у каждой из них есть что рассказать: там занимаются задачами, с которыми обычный прикладной разработчик не сталкивается. Слушать их рассказы можно и из теоретиче...

Панель корреляции на QtQML/Quick Всем привет! Я — тимлид команды по разработке десктопных приложений в компании Роджии Европа. Мы разрабатываем программные решения для нефтегазовой отрасли. Так получилось, что в нашем флагманском продукте StarSteer нет панели корреляции — классического инструмента проводчик...

[Перевод] Библиотека next-persist: преодоление разрыва между серверным рендерингом и постоянным хранением данных на клиенте Статья, перевод которой мы публикуем сегодня, посвящена next-persist — компактному и нетребовательному к ресурсам NPM-пакету. Цель его создания — упрощение обработки и реконсиляции данных, на постоянной основе хранящихся на клиенте и не имеющих критического значения. При это...

Росатом открыл центр аддитивных технологий 23 декабря 2020 года компания «Русатом – Аддитивные технологии» (ООО «РусАТ», предприятие топливной компании Росатома «ТВЭЛ» и отраслевой интегратор Росатома по направлению «Аддитивные технологии») открыла свой первый центр аддитивных технологий (ЦАТ) на площадке Московского...

Как обеспечить стабильную работу онлайн-площадок в период пиковых нагрузок Облачный провайдер «ИТ-ГРАД» (входит в Группу МТС) специально для Profit подготовил чек-лист о том, как оградить себя от финансовых и репутационных рисков во время пиковых нагрузок на интернет-площадки и в дни масштабных онлайн-распродаж.

HTB Unobtainium. Учимся работать с Kubernetes в рамках пентеста Для подписчиковВ этой статье я покажу, как проходится сложная машина Unobtainium с площадки Hack The Box. Мы проведем тестирование клиент-серверного приложения, серверная часть которого написана на Node.js. А затем поработаем с оркестратором Kubernetes и через него захватим ...

Солнце светит всем одинаково? Узнают Бауманские спутники В 2006 году в МГТУ им. Н.Э. Баумана был создан Центр управления полетами малых космических аппаратов (ЦУП—Б), о функционировании и работе которого мы подробно рассказали в одной из наших статей. Центр управления полетами МГТУ является важным элементом космического образова...

[Перевод] Как процессор 8086 работает с питанием и сигналами тактовой частоты Одна из недооценённых характеристик ранних микропроцессоров – сложность в распределении питания внутри интегральной схемы. У современного процессора может быть 15 слоёв металла с проводниками, но у чипов из 1970-х, например, у 8086, был всего один металлический слой, из-за ч...

[Перевод] Ваш первый BERT: иллюстрированное руководство Прогресс в области машинного обучения для обработки естественного языка существенно ускорился за последние несколько лет. Модели покинули исследовательские лаборатории и стали основой ведущих цифровых продуктов. Хорошей иллюстрацией этому служит недавнее заявление о том, чт...

[Перевод] Пишем загрузчик на Ассемблере и С. Часть 2 В предыдущей статье я рассказал о процессе загрузки, а также продемонстрировал написание загрузочного кода на C и ассемблере, в том числе с вложением инструкций последнего в код первого. При этом мы написали несколько простых программ для проверки работоспособности внедрен...