[Из песочницы] Ограничения машинного обучения Привет, Хабр! Представляю вашему вниманию перевод статьи “The Limitations of Machine Learning“ автора Matthew Stewart. Большинство людей, читающих эту статью, вероятно, знакомы с машинным обучением и соответствующими алгоритмами, используемыми для классификации или прогнози...
[Из песочницы] Как определить индексированные журналы ISI, Scopus или Scimago? Когда вы хотите представить свою исследовательскую статью в журнале. Вы должны выбрать целевой журнал для своей области исследования, а также журнал должен быть проиндексирован в любой из основных баз данных индексации, таких как ISI, Scopus, SCI, SCI-E или ESCI. Но определи...
Разбираемся с Machine Learning в Elastic Stack (он же Elasticsearch, он же ELK) Напомним, что в основе Elastic Stack лежат нереляционная база данных Elasticsearch, веб-интерфейс Kibana и сборщики-обработчики данных (самый известный Logstash, различные Beats, APM и другие). Одно из приятных дополнений всего перечисленного стека продуктов — анализ данны...
Книга «Прагматичный ИИ. Машинное обучение и облачные технологии» Привет, Хаброжители! Эта книга Ноя Гифта предназначена для всех, кого интересуют ИИ, машинное обучение, облачные вычисления, а также любое сочетание данных тем. Как программисты, так и просто неравнодушные технари найдут тут для себя полезную информацию. Примеры кода даны н...
[Перевод] Извлечение данных при машинном обучении Хотите узнать о трех методах получения данных для своего следующего проекта по ML? Тогда читайте перевод статьи Rebecca Vickery, опубликованной в блоге Towards Data Science на сайте Medium! Она будет интересна начинающим специалистам. Получение качественных данных — это пе...
Машинное обучение и обработка естественного языка объединяются для истолкования намерений людей Семантика на базе машинного обучения и обработки естественного языка расширит возможности аналитики, пишет …
Подборка датасетов для машинного обучения Привет, читатель! Перед тобой статья-путеводитель по открытым наборам данных для машинного обучения. В ней я, для начала, соберу подборку интересных и свежих (относительно) датасетов. А бонусом, в конце статьи, прикреплю полезные ссылки по самостоятельному поиску датасетов....
[Из песочницы] Передача знания и Нейронный машинный перевод на практике Нейронный машинные перевод (НМП, англ. Neural Machine Translation, NMT) развивается очень быстро. Сегодня, чтобы собрать свой переводчик, не нужно иметь два высших образования. Но чтобы обучить модель, нужен большой параллельный корпус (корпус, в котором предложению на исход...
[Из песочницы] Китайский онлайн-ритейлер Gearbest оставил в открытом доступе базу данных с миллионами персональных данных покупателей Комманда хакеров из VPNMentor обнаружила, что китайский гигант онлайн торговли Gearbest хранит данные покупателей в легкодоступных базах данных. Ребята из VPNMentor обнаружили несколько незащищенных баз данных (Indices) Elasticsearch с миллионами записей, содержащих персо...
Книга «Прикладной анализ текстовых данных на Python» Технологии анализа текстовой информации стремительно меняются под влиянием машинного обучения. Нейронные сети из теоретических научных исследований перешли в реальную жизнь, и анализ текста активно интегрируется в программные решения. Нейронные сети способны решать самые сл...
Google и DeepMind смогут предсказать характер ветра за день Google и DeepMind начали тестирование машинного обучения на собственных ветровых турбинах Google, которые являются частью проектов возобновляемой энергии компании. Начиная с прошлого года, они передавали прогнозы погоды и существующие данные о турбинах на платформу машин...
Основы работы с Neo4j в браузере В статье рассматривается как начать работать с графовой СУБД Neo4j, используя Neo4j Browser. Это руководство может быть полезным как дополнение к книге Редмонда и Уилсона "Семь баз данных за семь недель", так как рассматриваемый веб-интерфейс был полностью переработан, а так...
Умный сервис кэша на базе ZeroMQ и Tarantool Руслан Ароматов, главный разработчик, МКБ Привет, Хабр! Я работаю бэкенд-разработчиком в Московском кредитном банке, и за время работы у меня накопился некоторый опыт, которым я хотел бы поделиться с сообществом. Сегодня я расскажу, как мы писали свой собственный сервис к...
Как проходят секции по машинному обучению на собеседованиях в Яндекс Каждый сервис компании Яндекс во многом основан на анализе данных и методах машинного обучения. Они требуются и для ранжирования результатов веб-поиска, и для поиска по картинкам, и для формирования рекомендательных блоков. Машинное обучение позволяет нам создавать беспилотн...
[Перевод] Демонстрация AresDB: инструмент анализа в реальном времени с открытым исходным кодом на основе GPU от Uber Благодаря анализу в реальном времени мы, сотрудники компании Uber, получаем представление о состоянии дел и эффективности работы и на основе данных решаем, как повысить качество работы на платформе Uber. Например, проектная команда мониторит состояние рынка и выявляет потенц...
Взаимодействие R с базами данных на примере Microsoft SQL Server и других СУБД Поскольку львиная доля бизнес информации храниться в базах данных. На каком бы языке программирования вы не писали, вам придётся производить различные действия с ними. В этой статье я расскажу о двух интерфейса для работы с базами данных в R. Большая часть примеров демонстри...
Машинное обучение Google блокирует спам с эффективностью 99,9% В своём блоге компания Google сообщила об использовании машинного обучения на базе TensorFlow, которое блокирует попадание спама на Gmail.
15 книг по машинному обучению для начинающих Сделал подборку книг по Machine Learning для тех, кто хочет разобраться, что да как. Добавляйте в закладки и делитесь с коллегами! Книги по машинному обучению на русском 1. «Математические основы машинного обучения и прогнозирования» Владимир Вьюгин. О чем Сначала изуч...
[Перевод] PostgreSQL и настройки согласованности записи для каждого конкретного соединения Перевод статьи подготовлен специально для студентов курса «Базы Данных». Интересно развиваться в данном направлении? Приглашаем вас на День Открытых Дверей, где мы подробно рассказываем о программе, особенностях онлайн-формата, компетенциях и карьерных перспективах, которые ...
[Перевод] Утечка 809 миллионов email адресов сервиса Verifications.io из-за публично открытой MongoDB Примечание переводчика — поводом для перевода статьи стало получение уведомления Have I Been Pwned о том, что мои данные оказались в этой утечке. На прошлой неделе исследователи безопасности Bob Diachenko и Vinny Troia обнаружили незащищенную базу данных MongoDB, содержащую...
Security Week 13: открытые пароли в Facebook У Facebook проблема с безопасностью пользовательских данных. Опять? Да сколько можно! 19 марта журналист Брайан Кребс сообщил, что компания годами хранила пароли пользователей в открытом виде (новость, статья Кребса, официальное сообщение Facebook). Судя по официальному заяв...
[Из песочницы] Бизнес-логика в базе данных при помощи SchemaKeeper Цель данной статьи — на примере библиотеки schema-keeper показать инструменты, которые позволяют существенно облегчить процесс разработки баз данных в рамках PHP-проектов, использующих СУБД PostgreSQL. Информация из этой статьи, в первую очередь, будет полезна разработ...
[Перевод] Интеграционные тесты баз данных с помощью Spring Boot и Testcontainers 1. Обзор С помощью Spring Data JPA можно легко создавать запросы к БД и тестировать их с помощью встроенной базы данных H2. Но иногда тестирование на реальной базе данных намного более полезно, особенно если мы используем запросы, привязанные к конкретной реализации БД. В эт...
[Перевод] Предложения относительно уязвимостей и защиты моделей машинного обучения В последнее время эксперты все чаще затрагивают вопрос безопасности моделей машинного обучения и предлагают различные способы защиты. Самое время детально изучить потенциальные уязвимости и средства защиты в контексте популярных традиционных систем моделирования, таких как...
Вдохновлялись продакшеном и баскетболом: как Яндекс готовит чемпионат по программированию В конце мая начнётся наш чемпионат по программированию. Он будет проходить в онлайне и позволит проверить себя в одной из четырёх сфер: бэкенд- или фронтенд-разработке, машинном обучении или аналитике данных. Задачи для секций разработали в управлении машинного интеллекта и ...
Данные 1,3 млн банковских карт выставлены на продажу на Joker’s Stash Эксперты Group-IB сообщили, что на кардерский ресурс Joker's Stash была загружена огромная база данных, содержащая более 1,3 миллиона записей по кредитным и дебетовым картам, в основном клиентов индийских банков. Стоимость базы данных оценивается более чем в 130 миллионов до...
Балансировка записи и чтения в базе данных В предыдущей статье я описал концепцию и реализацию базы данных, построенное на основе функций, а не таблиц и полей как в реляционных базах данных. В ней было приведено множество примеров, показывающих преимущества такого подхода перед классическим. Многие сочли их недоста...
[Перевод] Обзор AI & ML решений в 2018 году и прогнозы на 2019 год: Часть 1 — NLP, Computer Vision Всем привет! Представляю вам перевод статьи Analytics Vidhya с обзором событий в области AI / ML в 2018 году и трендов 2019 года. Материал довольно большой, поэтому разделен на 2 части. Надеюсь, что статья заинтересует не только профильных специалистов, но и интересующихся т...
Security Week 48: гигантская утечка данных и уязвимость в Whatsapp 22 ноября эксперты компании DataViper Винни Тройя и Боб Дьяченко сообщили об обнаружении крупной (мягко говоря) базы данных, содержащей персональные данные о более чем миллиарде человек (новость, оригинальный отчет). Сервер Elasticsearch был доступен без авторизации, всего т...
[Перевод] Глубокое обучение (Deep Learning): обзор Всем привет. Уже в этом месяце в ОТУС стартует новый курс — "Математика для Data Science". В преддверии старта данного курса традиционно делимся с вами переводом интересного материала. Аннотация. Глубокое обучение является передовой областью исследований машинного обучения ...
SmartMail Conf: первая конференция Почты Mail.ru по машинному обучению 23 марта в нашем офисе пройдет первая профессиональная конференция от разработчиков Почты Mail.ru — SmartMail Conf. Она будет посвящена использованию технологий машинного обучения в высоконагруженных сервисах. Машинное обучение — одно из приоритетных для нас направлений, и...
[Перевод] Превращаем скрипты в красивые инструменты для машинного обучения Создаём семантический поисковик с машинным обучением в реальном времени за 300 строк Python кода. Мой опыт подсказывает, что любой более или менее сложный проект по машинному обучению рано или поздно превращается в набор сложных неподдерживаемых внутренних инструментов. Эти ...
Как создать фундамент для машинного обучения Хотя машинное обучение может показаться огромной и сложной задачей, создать инфраструктуру для проектов в этой области проще, чем многие думают, пишет главный технолог и член правления компании Exasol Матиас Голомбек на портале InformationWeek Машинное ...
Законопроект о создании единой базы с данными граждан приняли в ГосДуме в первом чтении Собственно, суть новости в заголовке, а подробности описаны тут и тут. А от себя хочу прокомментировать эту новость. Думаю, многие мечтали избавиться от поиска миллиона справок и доказательств, что у тебя и правда есть (или нет) недвижимость, машина и работа. Цифровая тран...
[Перевод] Топ-65 вопросов по SQL с собеседований, к которым вы должны подготовиться в 2019 году. Часть I Перевод статьи подготовлен для студентов курса «MS SQL Server разработчик» Реляционные базы данных являются одними из наиболее часто используемых баз данных по сей день, и поэтому навыки работы с SQL для большинства должностей являются обязательными. В этой статье с вопрос...
Хитрости в Machine Learning — работа с несколькими моделями в Keras Это моя первая статья по теме Машинное обучение. С недавнего времени я профессионально занимаюсь машинным обучением и компьютерным зрением. В этой и будущих статьях я буду делиться наблюдениями и решениями специфических проблем при использовании TensorFlow и Keras. В этой ст...
Как мы тестируем Сбербанк Онлайн на iOS В предыдущей статье мы познакомились с пирамидой тестирования и тем, какую пользу несут автоматизированные тесты. Но теория, как правило, отличается от практики. Сегодня мы хотим рассказать о своем опыте тестирования кода приложения, которым пользуются миллионы пользовател...
Некоторые аспекты мониторинга MS SQL Server. Рекомендации по настройке флагов трассировки Предисловие Довольно часто пользователи, разработчики и администраторы СУБД MS SQL Server сталкиваются с проблемами производительности БД или СУБД в целом, поэтому весьма актуальным является мониторинг MS SQL Server. Данная статья является дополнением к статье Использование ...
Современные конструкторы сайтов как альтернатива WordPress — или почему WordPress уже не тот? Всё чаще на просторах интернета можно встретить статьи о том, что WordPress — уже не тот и на сегодняшний день ему есть много альтернатив. Данная статья представляет собой исследование недостатков этой платформы с последующим поиском альтернативы. Анализируя работу на...
Лопнул ли пузырь машинного обучения, или начало новой зари Недавно вышла статья которая неплохо показывает тенденцию в машинном обучении последних лет. Если коротко: число стартапов в области машинного обучения в последние два года резко упало. Ну что. Разберём “лопнул ли пузырь”, “как дальше жить” и поговорим откуда вообще такая з...
Эволюция H2 — оконные функции, CTE, JSON/XML во встраиваемой базе данных Есть open source проекты которые стали коммерчески успешным мейнстримом, как например PostgreSQL/Elasticsearch. Другие, к примеру RethinkDB, проиграли на рынке и остановили разработку. А проект H2 database встраиваемой базы данных, написанной на языке java, развивается и здр...
Книга «Машинное обучение и TensorFlow» Знакомство с машинным обучением и библиотекой TensorFlow похоже на первые уроки в автошколе, когда вы мучаетесь с параллельной парковкой, пытаетесь переключить передачу в нужный момент и не перепутать зеркала, лихорадочно вспоминая последовательность действий, в то время ка...
Начало работы со службой «Машинное обучение Azure» с использованием пакета SDK для Python В рамках этой статьи будет использоваться пакет SDK для Машинного обучения Azure для Python 3 для создания и применения рабочей области Службы машинного обучения Azure. Эта рабочая область — основной блок в облаке для экспериментов, обучения и развертывания моделей машинного...
[Из песочницы] Машинное обучение для менеджеров: таинство сепуления Введение Очередной раз работая с компанией, делающей проект, связанный с машинным обучением (ML), я обратил внимание, что менеджеры используют термины из области ML, не понимая их сути. Хотя слова произносятся грамматически правильно и в нужных местах предложений, однако их ...
Датасеты по ИБ для машинного обучения В презентации по машинному обучению в ИБ я приводил слайд с примерами датасетов, которые можно использовать в своих проектах по машинному обучению. У меня несколько человек попросили ссылок на них, что я и делаю.
Мониторинг производительности запросов PostgreSQL. Часть 1 — репортинг Инженер — в переводе с латыни — вдохновенный. Инженер может всё. (с) Р.Дизель. Эпиграфы. Или история о том, зачем администратору баз данных вспоминать свое программистское прошлое. Предисловие Все имена изменены. Совпадения случайны. Материал представляет собой исключител...
[Перевод] Применение зашифрованных данных для машинного обучения без их расшифровки Применение зашифрованных данных для машинного обучения без их расшифровки В этой статье обсуждаются передовые криптографические методики. Это лишь обзор исследований, проводимых в Julia Computing. Не используйте приведённые здесь примеры в коммерческих приложениях. Всегда к...
В Украине запустили онлайн-ресурс о кино DzygaMDB, создатели которого вдохновлялись примерами IMDb и Rotten Tomatoes В Украине запустили сервис о кино DzygaMDB — первый онлайн-ресурс с полной базой данных про кино, теле- и видеопроекты, актеров и компании, которые занимаются видеопродакшеном. DzygaMDB — это платформа, на базе которой можно онлайн провести кастинг и найти всех нужных специа...
[Перевод] Деплоим ML проект, используя Flask как REST API, и делаем доступным через приложение на Flutter Введение Машинное обучение уже везде и, пожалуй, почти невозможно найти софт, не использующий его прямо или косвенно. Давайте создадим небольшое приложение, способное загружать изображения на сервер для последующего распознавания с помощью ML. А после сделаем их доступными ...
Подборка рабочих примеров обработки данных Привет, читатель. По стопам моего первого поста подборки датасетов для машинного обучения — сделаю подборку относительно свежих датасетов с рабочими примерами по обработке данных. Ведь ни для кого не секрет, что обучение на хороших примерах проходит эффективнее и быстрее. П...
[Перевод] О предвзятости искусственного интеллекта tl;dr: Машинное обучение ищет закономерности в данных. Но искусственный интеллект может быть «предвзят» — то есть, находить неверные паттерны. К примеру, система обнаружения рака кожи по фотографии может обращать особое внимание на снимки, сделанные во врачебном кабинете. ...
В облако Microsoft неизвестные выложили подробные данные о каждом втором домовладельце США База данных содержала весьма подробные сведения об отдельных домах и их владельцах - с именами, адресами, датой рождения и географическими данными.Как отметили исследователи Ноам Ротем (Noam Rotem) и Ран Локар (Ran Locar), установить, кто составил эту базу, не удаётся, однак...
[Из песочницы] Создание Dataflow шаблона для стриминга данных из Pub/Sub в BigQuery на базе GCP с помощью Apache Beam SDK и Python В данный момент занимаюсь задачей стриминга (и преобразования) данных. В некоторых кругах такой процесс известен как ETL, т.е. извлечение, преобразование и загрузка информации. Весь процесс включает в себя участие следующих сервисов Google Cloud Platform: Pub/Sub — сервис...
Книга «Машинное обучение: алгоритмы для бизнеса» Привет, Хаброжители! Маркос Лопез де Прадо делится тем, что обычно скрывают, — самыми прибыльными алгоритмами машинного обучения, которые он использовал на протяжении двух десятилетий, чтобы управлять большими пулами средств самых требовательных инвесторов. Машинное обучен...
[Перевод] Машинное обучение агентов в Unity Эта статья об агентах машинного обучения в Unity написана Майклом Лэнхемом — техническим новатором, активным разработчиком под Unity, консультантом, менеджером и автором многих игр на движке Unity, графических проектов и книг. Разработчики Unity внедрили поддержку машинног...
Как из-за открытой базы ClickHouse могли пострадать персональные данные пациентов и врачей Я много пишу про обнаружение свободно доступных баз данных практически во всех странах мира, но новостей про российские базы данных, оставленные в открытом доступе почти нет. Хотя недавно и писал про «руку Кремля», которую с перепугу обнаружил голландский исследователь в бол...
Время высокой точности: как работать с долями секунды в MySQL и PHP Однажды я поймал себя на мысли, что при работе со временем в базах данных почти всегда использую время с точностью до секунды просто потому, что я к этому привык и что именно такой вариант описан в документации и огромном количестве примеров. Однако сейчас такой точности до...
[Перевод] Что такое коэффициент скорости обучения и как он улучшает характеристики глубокого обучения? Данная статья представляет собой мою попытку выразить свой взгляд на следующие аспекты: Что такое коэффициент скорости обучения и каково его значение? Как подбирать данный коэффициент при обучении моделей? Почему необходимо менять коэффициент скорости обучения в процесс...
[Из песочницы] «Статья про минет»: ученые обработали 109 часов орального секса, чтобы разработать ИИ, который сосет член Привет, Хабр! Представляю вашему вниманию перевод статьи Саманты Коул (Samantha Cole) c motherboard.vice.com. Анонимные специалисты по машинному обучению написали «статью про минет», чтобы сделать эту машинку для отсоса более реалистичной. Autoblow AI, секс-игрушка для поль...
[Перевод] Объясняем SQL и NoSQL для бабушки Одно из наиболее важных решений, которые принимает разработчик, заключается в том, какую базу данных использовать. В течение многих лет опции были ограничены различными вариантами реляционных баз данных, которые поддерживали язык структурированных запросов (SQL). К ним отно...
Сравнение и выбор систем миграции данных Сравнение и выбор систем миграции данных Модель данных в процессе разработки имеет свойство изменяться, и в какой-то момент она перестает соответствовать базе данных. Конечно же, БД можно удалить, и тогда ORM создаст новую версию, которая будет соответствовать модели, но т...
Facebook научился лучше персонализировать рекламу Facebook запускает новые функции на базе машинного обучения, которые позволяют динамически настраивать рекламу для каждого пользователя. Технология машинного обучения Facebook объединяет данные и сигналы, получаемые по пользователям, чтобы спрогнозировать, кому нужно показат...
Nikon заинтересовалась машинным зрением и глубоким обучением Корпорация Nikon объявила об инвестициях в канадский стартап wrnch, который специализируется на разработке технологий машинного зрения и глубокого обучения. Фотографии Reuters Фирма wrnch была основана в 2014 году. Компания предлагает инструменты и комплекты для разработчико...
Обнаружены новые химические соединения, способные объяснить возникновение жизни на Земле До появления жизни на нашей планете окружающая среда содержала большое количество химических элементов, которые взаимодействовали друг с другом очень хаотично. Ученые из Токийского технологического института и Национального университета Малайзии выяснили почему химические с...
Ведущие производители анонсируют корпоративные серверы на базе процессоров NVIDIA для аналитики данных Cisco, Dell EMC, Fujitsu, Hewlett Packard Enterprise, Inspur, Lenovo и Sugon предлагают серверы на базе NVIDIA T4, оптимизированные для ускоренных приложений для аналитики данных на базе CUDA-X AI, машинного и глубокого обучения
Наша служба и опасна, и трудна, или Zyxel ATP500 Введение Мы писали, мы писали, наши пальчики устали. Почему мы вдруг решили начать с этого детского двустишия? Всё очень просто. В данной статье мы хотели познакомить читателей с возможностями нашего самого современного решения по обеспечению сетевой безопасности – линейкой ...
Как мы мигрировали базу данных из Redis и Riak KV в PostgreSQL. Часть 1: процесс Это первая часть статьи, в которой я расскажу о том, как мы построили процесс работы над большим проектом по миграции БД: про безопасные эксперименты, командное планирование и кросс-командное взаимодействие. В следующих статьях подробней расскажу про технические проблемы, ко...
Диздок-десятистраничник — шаблон по книге Скота Роджерса с примером на игру от Pixonic В данной статье я приведу пример составления дизайн-документа для разработки игры в формате десятистраничника. В начале будет приведён общий шаблон документа, предлагаемый Скотом Роджерсом в его книге «Level up. The guid to great video game design» [1]. Затем будет выложен...
Машинное обучение vs. аналитический подход Какое-то время назад мы нашли свои старые материалы, по которым обучали первые потоки на наших курсах машинного обучения в Школе Данных и сравнили их с теперешними. Мы удивились, сколько всего мы добавили и поменяли за 5 лет обучения. Осознав, почему мы это сделали и как, ...
Машинное обучение без Python, Anaconda и прочих пресмыкающихся Нет, ну я, конечно, не всерьез. Должен же быть предел, до какой степени возможно упрощать предмет. Но для первых этапов, понимания базовых концепций и быстрого «въезжания» в тему, может быть, и допустимо. А как правильно поименовать данный материал (варианты: «Машинное обуче...
[Перевод] Интеграция проверок пароля в KeePass по базе данных утечек Данная статья по шагам описывает процесс интеграции проверок пароля на безопасность в менеджере паролей KeePass. Проверки используют последнюю базу данных Have I Been Pwned, где хранятся утекшие пароли, и всё это работает локально, поэтому вам не надо беспокоиться о возможно...
Что не так с обучением с подкреплением (Reinforcement Learning)? Еще в начале 2018 года вышла статья Deep Reinforcement Learning Doesn't Work Yet ("Обучение с подкреплением пока не работает"). Основная претензия которой сводилась к тому, что современные алгоритмы обучения с подкреплением требуют для решения задачи примерно столько же вре...
Apple зарегистрировала в России 11 новых iPhone Сегодня стало известно о том, что база Евразийской экономической комиссии пополнилась более чем десятком новых яблочных смартфонов. Однако никакой конкретной информации кроме серийных номеров устройств, в базе нет.Читать дальше... ProstoMAC.com.| Постоянная ссылка | No comm...
Другой Github 2: машинное обучение, датасеты и Jupyter Notebooks Несмотря на то, что в интернете существует множество источников свободного программного обеспечения для машинного обучения, Github остается важным центром обмена информацией для всех типов инструментов с открытым исходным кодом, используемых в сообществе специалистов по ма...
[Перевод] Работаем с нейросетями: чек-лист для отладки Код программных продуктов для машинного обучения часто бывает сложным и довольно запутанным. Обнаружение и ликвидация багов в нем — ресурсоемкая задача. Даже простейшие нейросети с прямой связью требуют серьезного подхода к сетевой архитектуре, инициализации весов, оптими...
[Из песочницы] Golang и эволюция взаимодействия с базами данных В этой статье хочу обобщить проблемы работы с базами данных под управлением golang. При решении простых задач обычно эти проблемы не видны. С ростом проекта масштабируются и проблемы. Наиболее злободневные из них: Снижение связности приложения, работающего с базой данных Жу...
Machine Learning для Vertica Аннотация В данной статье я хочу поделиться собственным опытом работы с машинным обучением в хранилище данных на Vertica. Скажем честно, я не являюсь аналитиком-экспертом, который сможет в деталях расписать все многообразие методик исследования и алгоритмов прогнозирования ...
Британская BeMyEye приобрела российского разработчика решений для ритейла на базе машинного обучения Streetbee Бизнес объединённой компании может стоить около €50 млн.
[Перевод] Новости из мира OpenStreetMap №455 (02.04.2019-08.04.2019) Вид скрытой инфраструктуры, содержащейся в базе данных OpenStreetMap1 | OpenInfraMap | MapTiler | Map data OpenStreetMap contributors Картографирование В серии твитов Тайлер Басби рассказывает об успехах использования машинного обучения для выявления солнечных батарей на к...
Как я организовал тренировки по машинному обучению в НГУ Меня зовут Саша и я люблю машинное обучение, а также обучение людей. Сейчас курирую образовательные программы в Computer Science центре и руковожу бакалавриатом по анализу данных в СПбГУ. До этого работал аналитиком в Яндексе, а ещё раньше — учёным: занимался математическим ...
Использование Liquibase для управления структурой БД в Spring Boot приложении. Часть 2 В предыдущей части мы разобрались с основными возможностями Liquibase и написали базовый пример Spring boot приложения, который использует Liquibase для инициализации БД. Полный код базового приложения можно увидеть тут. В этой статье мы поговорим про liquibase-maven-plugin ...
Микроскопия без микроскопа: красота кодирования генов Подобные изображения — это результат применения недавно созданной американскими учеными Джошуа Ванштейном, Авив Регев и Джангом Фэном технологии ДНК-микроскопии. Интересно, что настоящие микроскопы — будь то оптические или электронные — здесь не применяются. Технология базир...
Ищем пневмонию на рентгеновских снимках с Fast.ai Наткнулся на статью в блоге компании Школа Данных и решил проверить, на что способна библиотека Fast.ai на том же датасете, который упоминается в статье. Здесь вы не найдете рассуждений о том, как важно своевременно и правильно диагностировать пневмонию, будут ли нужны врачи...
Как победить в цифровом WorldSkills? На практическом примере Привет, Хабр! В декабре наш коллега от направления «Продвинутая аналитика» Леонид Шерстюк занял первое место в компетенции Машинное обучение и большие данные во II отраслевом чемпионате DigitalSkills. Это «цифровая» ветка известных профессиональных конкурсов, которые устра...
Пульт управления Хабром на базе HMI от Advantech Your browser does not support HTML5 video. Видео: админский пульт управления Хабром. Позволяет регулировать карму, рейтинг, и банить пользователей. TL;DR: в статье я попробую создать шуточный пульт управления Хабром, используя среду разработки промышленных интерфейсов Webac...
[Перевод] Шесть историй, как код переписали с нуля Новый взгляд на извечный вопрос: следует ли переписывать приложение с нуля или это «самая худшая стратегическая ошибка, которую может сделать разработчик программного обеспечения»? Оказывается, при работе со зрелой кодовой базой есть более двух вариантов ответа. «Исходны...
[Из песочницы] ShIoTiny: малая автоматизация, интернет вещей или «за полгода до отпуска» Основные тезисы или о чем эта статья Так как интересы людей разные, а времени у людей мало, то кратко о содержании статьи. Статья эта представляет собой обзор проекта контроллера с минимальной ценой и возможностью визуального программирования посредством WEB-браузера. Пос...
Руководство для начинающих по машинному обучению и структуре Data Science Для всех, кому интересна тематика работы с данными, машинного обучения и искусственного интеллекта и для тех, кто только начинает свой путь в изучении — этот пост для вас. Все библиотеки ниже бесплатны, и большинство из них с открытым исходным кодом и выложены на GitHub. Исп...
[Из песочницы] Введение в машинное обучение 1.1 Введение Благодаря машинному обучению программист не обязан писать инструкции, учитывающие все возможные проблемы и содержащие все решения. Вместо этого в компьютер (или отдельную программу) закладывают алгоритм самостоятельного нахождения решений путём комплексного испо...
Все ваши анализы в открытом доступе И снова здравствуйте! У меня опять нашлась для вас открытая база с медицинскими данными. Напомню, что совсем недавно тут было три моих статьи на эту тему: утечка персональных данных пациентов и врачей из медицинского онлайн-сервиса DOC+, уязвимость сервиса «Доктор рядом» и у...
Хакеры раскрыли данные о пациентах скорой помощи Доступ к базе данных бесплатный, информация хранится в не зашифрованном виде. Хакеры выложили в открытый доступ базу данных о 360 млн вызовах, которые поступили подмосковным службам скорой помощи, сообщили «Ведомости». В ней содержится информация о вые...
Бот генерирует учебники из статей Википедии Пример викиучебника (иллюстрация из научной статьи) Всем известно, что Википедия — ценный информационный ресурс. Можно часами изучать тему, переходя от одной ссылки к другой для получения контекста по интересующему предмету. Но не всегда очевидно, как собрать весь контент ...
Нахождение объектов без учителя (Unsupervised Object Detection) Одна из важнейших задач в машинном обучении — детектирование объектов (Object Detection). Недавно был опубликован ряд алгоритмов машинного обучения основанных на глубоком обучении (Deep Learning) для детектирования объектов. Эти алгоритмы занимают одно из центральных мест ...
Машинное обучение: что читать, смотреть и где учиться На русском сайте StackOverflow в вопросе о хороших книгах по математике и машинному обучению сформировали список материалов, с которых стоит начать изучение этой предметной области.
Гэри Илш: RankBrain не использует UX-сигналы в своей работе Сотрудник Google Гэри Илш ответил в Reddit на вопрос о том, как работает алгоритм на базе машинного обучения RankBrain. В частности, какие сигналы он использует. Вопрос выглядел так: «RankBrain. Многие люди продолжают говорить, что часть системы RankBrain включает UX-сигналы...
В приложении «Сбербанк Онлайн» появился поиск на базе машинного обучения Единый поиск по приложению на главном экране позволяет искать контакты для переводов, организации для платежей, функции приложения и банковские продукты. Теперь за счет самообучающихся алгоритмов результаты поиска настраиваются под клиента, что позволяет ему быстро перейти н...
Безымянные данные в интернете позволяют идентифицировать любого человека К такому выводу пришли ученые Имперского колледжа Лондона и Лувенского католического университета, которые научились практически безошибочно вычислять людей по кускам информации из анонимных баз данных.Чтобы понять, о ком именно идет речь в базе данных, совсем не обязательно...
[Перевод] Интерпретируемая модель машинного обучения. Часть 1 Всем привет. До старта курса «Machine Learning» остается чуть больше недели. В преддверии начала занятий мы подготовили полезный перевод, который будет интересен как нашим студентам, так и всем читателям блога. Начнем. Пора избавиться от черных ящиков и укрепить веру в ма...
Tarantool Kubernetes Operator Kubernetes в значительной мере упрощает эксплуатацию приложений. Он забирает на себя ответственность за развертывание, масштабирование и отработку отказов, а декларативная природа описания ресурсов упрощает управление сложными приложениями. Тarantool может выполнять роль ...
[recovery mode] Сократить время вычислений от нескольких лет до минут. Разбираемся с квантовым машинным обучением Я давно интересуюсь квантовыми вычислениями и пишу программы для 5-ти и 14-кубитных квантовых компьютеров IBM Q Experience. Сегодня я расскажу о технологиях, которые можно будет применять в машинном обучении после того, как квантовые вычисления завоюют мир. Спойлер для дата ...
Проектирование Базы Данных. Лучшие практики В преддверии старта очередного потока по курсу «Базы данных» подготовили небольшой авторский материал с важными советами по конструированию БД. Надеемся данный материал будет полезен для вас. Базы данных повсюду: от простейших блогов и директорий до надежных информационны...
В сети оказались данные почти 9 млн пользователей Билайна База данных 8,7 млн клиентов оператора Билайн, подключивших домашний интернет, оказалась в открытом доступе. В ней содержатся имена, адреса и телефоны клиентов компании, сообщает «Коммерсантъ». В Билайне уверяют, что большинство данных в базе устарели: «Данная...
Deep (Learning+Random) Forest и разбор статей Продолжаем рассказывать про конференцию по статистике и машинному обучению AISTATS 2019. В этом посте разберем статьи про глубокие модели из ансамблей деревьев, mix регуляризацию для сильно разреженных данных и эффективную по времени аппроксимацию кросс-валидации. Читать да...
Поиск данных и объектов в базе данных MS SQL Server с помощью бесплатной утилиты dbForge Search Описание общей потребности в поиске данных и объектов в базе данных Поиск данных, а также хранимых процедур, таблиц и других объектов в базе данных является достаточно актуальным вопросом в том числе и для C#-разработчиков, а также и для .NET-разработки в целом. Достаточно ...
Как мы тестировали несколько баз данных временных рядов За последние несколько лет базы данных временных рядов (Time-series databases) превратились из диковинной штуки (узкоспециализированно применяющейся либо в открытых системах мониторинга (и привязанной к конкретным решениям), либо в Big Data проектах) в «товар народного пот...
Сайты, использующие утилиту Adminer, подвержены взлому Киберпреступники взяли на вооружение уязвимость в PHP-утилите Adminer и крадут учетные данные для доступа к базам данных веб-ресурсов. В теории, они также могут внедрить в них вредоносные программы. К такому выводу пришел ИБ-специалист Виллем де Грут (Willem de Groot), изучи...
Один из методов получения истории блокировок в PostgreSQL Продолжение статьи "Попытка создать аналог ASH для PostgreSQL ". В статье будет рассмотрено и показано на конкретных запросах и примерах — какую же полезную информацию можно получить с помощью истории представления pg_locks. Предупреждение. В связи с новизной темы и незавер...
Машинное обучение в инвестиционной компании: классифицируем обращения в техническую поддержку В теории использование машинного обучения (ML) помогает сократить участие человека в процессах и операциях, перераспределять ресурсы и уменьшить затраты. Насколько это работает в условиях конкретной компании и сферы деятельности? Как показывает наш опыт — работает. На опред...
SQL. Занимательные задачки Здравствуй Хабр! Вот уже более 3ех лет я преподаю SQL в разных тренинг цетрах и одним из моих наблюдений является то что студенты осваивают и понимают SQL лучше если ставить перед ними задачу, а не просто рассказывать о возможностях и теоритических основах. В этой статье я...
[Перевод] Скучный технологический стек интернет-компании из одного человека Поисковая выдача на ListenNotes.com Listen Notes — это поисковая система и база данных подкастов. Технология на самом деле очень скучная. Никакого ИИ, глубокого обучения или блокчейна. «Если вы должны объявлять о внедрении ИИ, то вы не используете Настоящий ИИ» :) После п...
Курс «Основы эффективной работы с технологиями Wolfram»: более 13 часов видеолекций, теория и задачи Все документы курса можно скачать здесь. Этот курс я прочел пару лет назад для довольно обширной аудитории. Он содержит очень много информации о том, как устроена система Mathematica, Wolfram Cloud и язык Wolfram Language. Однако, конечно, время не стоит на месте и за по...
[Перевод] Глупая причина, по которой не работает ваше хитрое приложение машинного зрения: ориентация в EXIF Я много писал о проектах компьютерного зрения и машинного обучения, таких как системы распознавания объектов и проекты распознавания лиц. У меня также есть опенсорсная библиотека распознавания лиц на Python, которая как-то вошла в топ-10 самых популярных библиотек машинного ...
[Из песочницы] Что такое автоматизированное машинное обучение (AutoML) Что такое автоматизированное машинное обучение (AutoML) и собирается ли оно лишить специалистов по данным (Data Scientists) работы? С того момента как стали появляться инструменты автоматизированного машинного обучения (AutoML), такие как Google AutoML, эксперты обсуждают ...
Как выполнить маркетинговый план и что исправить, чтобы вероятность выполнения стала выше? OWOX представила новый инструмент на базе машинного обучения Алгоритм поможет качественно настроить аналитику и, с учётом рыночных данных, построит прогноз выполнения плана, найдёт зоны роста и рисков, а также даст много других инсайтов.
Как ускорить работу с API на языке R с помощью параллельных вычислений, на примере API Яндекс.Директ (Часть 2) В прошлой статье я рассказал о том, что такое многопоточность, и привёл примеры её реализации на языке R при работе с API Яндекс.Директ с помощью пакетов doSNOW, doParallel и конструкции foreach. Данная статья является продолжением, но может быть рассмотрена как автономное р...
Использование DiagnosticSource в .NET Core: практика В предыдущей статье я рассказал про механизм DiagnosticSource и на простом примере показал, как с его помощью можно перехватывать запросы в базу данных через классы SqlConnection и SqlCommand и измерять время их выполнения. В настоящее время DiagnosticSource уже используется...
[recovery mode] Как учиться с помощью машинного обучения у экспертов в Dota 2 В предыдущей статье от Питерской Вышки мы показывали, как при помощи машинного обучения можно искать баги в программном коде. В этом посте расскажем о том, как мы вместе с JetBrains Research пытаемся использовать один из самых интересных, современных и быстроразвивающихся ра...
Данные свыше 200 миллионов жителей КНР нашлись в открытом доступе База содержала 202 730 434 записи персональных данных граждан КНР, ищущих работу. Информация включала имена, даты рождения, номера телефонов, адреса электронной почты, а также описания профессиональных навыков и ожидания соискателей по уровню заработной платы. По словам эксп...
Доказано: женский мозг сохраняет молодость дольше, чем мужской О том, что между женским и мужским мозгом существуют структурные различия, ученым известно уже давно. Так, в 2017 году исследователи из Amen Clinics изучили 20 000 фотографий головного мозга и выяснили, что женский мозг гораздо активнее мужского. Оказалось, что при большей ...
[Из песочницы] Настройка поиска Sphinx для интернет-магазина Информации по Sphinx не так много, как хотелось бы. Лишняя статья не помешает. Первые шаги в освоении Sphinx мне помогли сделать статьи Создание ознакомительного поискового движка на Sphinx + php и Пример Sphinx поиска на реальном проекте — магазин автозапчастей Tecdoc Совет...
[Перевод] Создание надёжного и проверяемого ИИ: соответствие спецификациям, надёжное обучение и формальная верификация Ошибки и ПО шли рука об руку с самого начала эпохи программирования компьютеров. Со временем разработчики выработали набор практик по тестированию и отладке программ до их развёртывания, однако эти практики уже не подходят к современным системам с глубоким обучением. Сегодня...
[Из песочницы] Учебное пособие по TensorFlow: 10 минутное практическое занятие по TensorFlow для начинающих [перевод] Привет, Хабр! Представляю вашему вниманию перевод статьи "TensorFlow Tutorial: 10 minutes Practical TensorFlow lesson for quick learners" автора Ankit Sachan. Этот туториал по TensorFlow предназначен для тех, кто имеет общее представление о машинном обучении и пыта...
[Перевод] Анализ TSDB в Prometheus 2 База данных временных рядов (TSDB, time series database) в Prometheus 2 – это отличный пример инженерного решения, которое предлагает серьёзные улучшения в сравнении с хранилищем v2 в Prometheus 1 в плане скорости накопления данных и выполнения запросов, эффективности испо...
Описание архитектур процессоров в LLVM с помощью TableGen На данный момент LLVM стала уже очень популярной системой, которую многие активно используют для создания различных компиляторов, анализаторов и т.п. Уже написано большое количество полезных материалов по данной тематике, в том числе и на русском языке, что не может не радов...
Где весной поговорить про Apache Ignite, распределенные базы данных и распределенное машинное обучение Начинается первая волна конференций, да и дружественные митапы активизировались. Присоединяйтесь. 15 марта, Санкт-Петербург — ODS SPB Meetup #5 Распределенный TensorFlow с Apache IgniteНа митапе, приуроченному ко дню рождения Open Data Science, Юрий Бабак, Руководитель гру...
«Удаление» объектов в Django Рано или поздно перед разработчиками встаёт задача удаления ненужных данных. И чем сложнее сервис, тем больше нюансов необходимо учесть. В данной статье я расскажу, как мы реализовали «удаление» в базе данных с сотней связей. Читать дальше →
«ВКонтакте» назвала создателем базы своих пользователей не Павла Дурова. Зачем социальной сети понадобилась такая трактовка истории компании База данных пользователей «ВКонтакте» была создана не в 2006-м, в момент запуска сайта Павлом Дуровым, а после 2008-го, и ее создатель — Андрей Рогозов. Этот аргумент привела соцсеть на суде за использование данных участников.
Вас шантажируют утечкой данных. Что делать? Весной 2019-го года, на CISO Forum, я проводил киберучения, где среди прочего был и такой кейс - вы получаете сообщение через соцсети (чат в Facebook Messenger, Telegram, Whatsapp, Viber и т.п.) от человека, который называет себя известным в отрасли ИБ именем и который за...
[Из песочницы] Исследуем утверждение центральной предельной теоремы с помощью экспоненциального распределения Вместо введения В статье описывается исследование, проведенное с целью проверки утверждения центральной предельной теоремы о том, что сумма N независимых и одинаково распределенных случайных величин, отобранных практически из любого распределения, имеет распределение, близко...
Хакеры выложили в Сеть базу с данными о вызовах скорой помощи в Московской области Записи в базе содержат фамилии, имена и отчества пациентов, сведения о и возрасте и жалобах, ставших причиной вызова. Также в базе содержатся адреса и номера телефонов пациентов. В министерстве здравоохранения Московской области считают, что эти данные не имеют отношения к р...
Сбербанк научился с помощью ИИ предсказывать выручку любой компании в России Новая модель Сбербанка основана на алгоритме Random Forest, применяющемся для задач классификации, кластеризации и регрессии и использующем большое количество деревьев решений, каждое из которых дает невысокое качество классификации. Повышение качества итогового результата р...
[Перевод] Нейросети и глубокое обучение: онлайн-учебник, глава 6, ч.2: недавний прогресс в распознавании изображений Содержание Глава 1: использование нейросетей для распознавания рукописных цифр Глава 2: как работает алгоритм обратного распространения Глава 3: ч.1: улучшение способа обучения нейросетей ч.2: почему регуляризация помогает уменьшать переобучение? ч.3: как выбрать гиперпара...
Наиболее часто из решений на базе ИИ в России используют виртуальных помощников На втором месте оказались прогнозный анализ (35%) и машинное обучение (35%).
Refinitiv определила, какие технологии лучше всего подходят для предотвращения финансовых преступлений Участники опроса назвали облачные базы данных, искусственный интеллект, машинное обучение и блокчейн.
[Из песочницы] Машинное обучение для всех, кто изучал математику в восьмом классе Привет, Хабр! Представляю вашему вниманию перевод статьи "Machine Learning for Anyone Who Took Math in Eighth Grade" автора Kyle Gallatin. Я обычно замечаю, что искусственный интеллект объясняется одним из двух способов: через все более сенсационную призму различн...
Western Union начинает масштабный перевод систем в облако Amazon Western Union - одна из самых известных финансовых компаний в мире, обеспечивающая платежи и денежные переводы более чем в 200 странах мира. Однако ее масштабная бизнес-деятельность базируется на устаревшей инфраструктуре центра обработки данных, поэтому компания готовится п...
Машинное обучение оказалось в пять раз вреднее автомобиля В своей работе сотрудники колледжа информатики и компьютерных наук изучили работу четырех самых продвинутых программ машинного обучения на нейронных сетях, которые появились в последние годы и сосредоточены на распознавании естественных языков, пишет "КоммерсантЪ"....
Как не запутаться в нейросетях? Инструменты для работы На что способны алгоритмы машинного обучения, мы уже выяснили, что им не под силу – в общих чертах разобрались. В этой статье журналист Теплицы Юлия Каленкова расскажет об инструментах работы с этими алгоритмами. Для машинного обучения действует очевидное правило: сложнее да...
Незащищенный сервер компании VOIPO хранил миллионы SMS и журналы звонков Публично доступная база компании VOIPO содержала миллионы документов с данными о SMS-сообщениях и журналами звонков миллионов людей.
Что внутри чат-бота? Меня зовут Иван Бондаренко. Я занимаюсь алгоритмами машинного обучения для анализа текстов и устной речи примерно с 2005 года. Сейчас работаю в Московском Физтехе ведущим научным разработчиком лаборатории бизнес-решений на основе Центра компетенций НТИ по Искусственному инте...
Э — Эксперимент. Или как наука помогает проектировать интерфейсы Читая различные книги и статьи по психологии, сохранила себе в копилку некоторое количество интересных экспериментов, которые могут натолкнуть на мысли и решения при проектировании интерфейса, дизайна, подаче материала (товара и пр.). Описанные эксперименты не новы, но их...
Исследователи из Google учат ИИ распознавать запахи В отличие от определения цветов, которые легко идентифицируются по длине волны, определение запахов по молекулам отличается крайней неоднозначностью. Часто даже два человека могут один и тот же аромат описать по-разному. А ведь в строении молекул есть ещё так называемые хира...
Сервис перевода патентов WIPO Translate – мои опыты Cервис интерактивного перевода WIPO Translate (World Intellectual Property Organization, Всемирная организация интеллектуальной собственности) весьма актуален, ибо ежегодно регистрируются миллионы патентов. При наличии множества международных заявок и патентов, представленн...
Нейроморфные системы: компьютеры, вдохновлённые устройством человеческого мозга Рассказываем, кто и почему ими занимается / фото Paweł Czerwiński Unsplash Что такое нейроморфный чип Это — процессор, работа которого основана на принципах действия человеческого мозга. Такие устройства моделируют работу нейронов и их отростков — аксонов и дендритов — отв...
В сеть утекли персональные контактные данные десятков миллионов популярных пользователей Instagram В интернете была обнаружена обширная база данных, содержащая контактную информацию миллионов лидеров мнений, знаменитостей и учетных записей брендов соцсети Instagram. База данных выявлена на Amazon Web Services, она была открытой и доступной без пароля для всех желающих. На...
Биометрия: риск утечки есть всегда Аналитический центр InfoWatch составил дайджест последних утечек биометрических данных и примеров обхода соответствующих систем безопасности.В ряде стран биометрическая информация граждан используется в процессе всенародного волеизъявления на выборах. К сожалению, уже были п...
Почему ученым не следует полагаться на ИИ в вопросах научных открытий, по крайней мере, сейчас Мы живем в золотом веке научных данных, окружив себя огромными запасами генетической информации, медицинских изображений и данных об астрономических наблюдениях. Текущий возможности алгоритмов машинного обучения позволяют искусственному интеллекту максимально быстро и в то ...
В Тихом океане найдены дышащие мышьяком формы жизни На Земле есть огромное количество микроорганизмов, которые способны выживать в самых экстремальных условиях. Взять, к примеру, недавно обнаруженного в Тихом океане микроба, который живет благодаря вдыханию и выдыханию мышьяка. Этот химический элемент считается крайне токсич...
[Перевод] Разработка Adblock Radio tl;dr: Adblock Radio распознаёт аудиорекламу с помощью машинного обучения и Shazam-подобных техник. Основной движок с открытым исходным кодом: используйте его в своих продуктах! Можно объединить усилия для поддержки большего количества радиостанций и подкастов. Мало кому н...
На пути к светлому будущему «умных» компиляторов Сейчас тема машинного обучения и искусственного интеллекта необычайно популярна, на данный момент благодаря вычислительным мощностям компьютеров идеи и алгоритмы, зародившиеся достаточно давно могут быть воплощены в жизнь и значительно доработаны. Практически каждый день мож...
Amazon выделит $700 млн на обучение 100 тысяч сотрудников разработке и применению машинного обучения Рабочие смогут бесплатно пройти все ИТ-программы.
Дайджест новостей машинного обучения и искусственного интеллекта за июнь Хабр, привет. Отфильтровав большое количество источников и подписок — собрал для вас все наиболее значимые новости из мира машинного обучения и искусственного интеллекта за июнь. Всем приятного чтения! 1. Команда исследователей из Карнеги-Меллона сделала прорыв в области н...
Анализ результатов 2018 Kaggle ML & DS Survey Kaggle — известная платформа для проведения соревнований по машинному обучению на которой количество зарегистрированных пользователей перевалило за 2.5 миллиона. В соревнованиях участвуют тысячи data scientist из разных стран, и Kaggle стал интересоваться тем, что из себя п...
Исследователь обнаружил открытую базу с номерами телефонов 419 млн пользователей Facebook База данных, в основном, содержит уникальные ID пользователей соцсети и привязанные к аккаунтам номера телефонов.
Instagram устранил угрозу приватности пользователей Независимый ИБ-специалист под ником ZHacker13 обнаружил уязвимость соцсети Instagram, которая позволяла автоматически собирать данные ее пользователей. Представители сервиса несколько недель не могли устранить угрозу и начали активно работать над решением только после обраще...
PHP: изменение стуктуры БД в командной разработке В мире PHP хорошо известны инструменты миграций структуры БД — Doctrine, Phinx от CakePHP, от Laravel, от Yii — это то первое, что пришло в голову. Наверняка, есть еще с десяток. И большинство из них работают с миграциями — командами для внесения инкрементных изменений в с...
ACCA: более половины финансистов по всем миру готовы использовать машинное обучение 60% опрошенных уверены, что в ближайшие три года использование интернет-технологий станет привычным для большинства финансовых департаментов. Ассоциация специалистов в области финансов, учета и аудита АССА провела исследование «Машинное обучение: наука, а не вым...
Встраивание машинного обучения в СУБД помогает добраться до истины, заключенной в данных Когда машинное обучение встраивается в СУБД, организации получают расширенные возможности курирования данных за счет автоматизации контроля качества, гармонизации, усвоения и обогащения данных помимо решения других задач, часто весьма ...
JPMorgan начала использовать ИИ-копирайтера Оказалось, что инструмент машинного обучения Persado создавал более качественные рекламные объявления на основе заготовок, чем основные авторы, что оценивалось по более высоким показателям просмотров - в некоторых случаях они превышали популярность оригинальных статей более ...
Синтезирована «инопланетная» ДНК Такую попытку предприняла группа американских ученых, пытавшихся создать молекулу, подобную ДНК, но построенную иначе. ДНК, напомним, это базисное химическое соединение земной жизни, кодирующее состав белков, обмен веществ и, в конечном итоге, все строение живого организма. ...
Сибирские ученые разрабатывают органические солнечные батареи Сотрудники Института химической кинетики и горения имени Воеводского (ИХКГ СО РАН) занимаются разработкой солнечных батареек на основе органических полимеров. Предполагается, что они будут более легкими, пластичными и дешевыми, чем неорганические аналоги, а с помощью 3D-печа...
[Из песочницы] Почему Swift может стать большим событием в глубинном обучении Здравствуй, Хабр! Представляю вашему вниманию перевод заинтересовавшей меня статьи «Why Swift May Be the Next Big Thing in Deep Learning» автора Max Pechyonkin, в которой автор рассуждает о языке на котором будет осуществляться глубокое обучение в ближайшие годы. Читать дал...
Личные данные 50 млн граждан Китая выложили на общедоступный сервер Сервер с незащищённой СУБД ElasticSearch принадлежит Министерству общественной безопасности провинции Цзянсу, располагающеся на восточном побережье КНР. Население провинции составляет 80 миллионов человек, из которых 55 миллионов проживают в городах. Это пятая по численности...
Примеры дичи из заказов «приходите спасать» (разбор десятка инцидентов с примерами) Иногда бывает так: — Приезжайте, у нас упало. Если сейчас не поднять — покажут по телевизору. И мы едем. Ночью. На другой край страны. Ситуация, когда не повезло: на графике показан резкий рост нагрузки на СУБД. Очень часто это первое, на что смотрят администраторы систем...
Информация о миллионах клиентов Creative Cloud под угрозой Сведения о 7,5 млн пользователей Adobe Creative Cloud обнаружены в незащищенной базе данных на общедоступном сервере. В рамках платформы более 15 млн клиентов работают с Photoshop, Lightroom, Illustrator и другими продуктами разработчика. На момент публикации специалисты ком...
Amazon выделит $700 млн на обучение и повышение квалификации 100 тысяч сотрудников в США Рабочие смогут бесплатно пройти программы по разработке, машинному обучению и облачным технологиям.
[Перевод] TensorFlow на Apache Ignite С чего начинается родина мы все знаем, а глубокое обучение начинается с данных. Без них невозможно обучить модель, оценить ее, да и вообще использовать. Занимаясь исследованиями, увеличивая индекс Хирша статьями о новых архитектурах нейронных сетей и экспериментируя, мы опир...
Мозг продолжает нормально работать после удаления одного из полушарий Оказывается, мозг способен компенсировать отсутствующие участки Мы запускаем роботов в космос, редактируем геном в лабораториях, лечим болезни, которые уносили миллионы жизней наших предков однако по-прежнему очень мало знаем о том самом органе, который делает нас теми, кто ...
Новая утечка в Сбербанке: в сеть попали личные данные клиентов и записи разговоров В открытом доступе вновь оказались данные клиентов Сбербанка. На этот раз база содержит не только личные сведения, но и записи разговоров. Как сообщает «Коммерсантъ», на черном рынке продается база данных, содержащая около миллиона строк с почти полными сведениями ...
Использование API HTMS для работы с реляционно-сетевой базой данных Введение В статье «Реляционно-сетевая модель данных» была предложена новая концепция моделирования данных HTMS, являющаяся развитием канонической реляционной модели. В настоящем материале будет показано на примерах, как ее можно практически использовать с применением API лог...
Германия инвестирует 650 млн евро в квантовые вычисления В рамках данной инициативы IBM и одна из ведущих европейских организаций по прикладным исследованиям Fraunhofer-Gesellschaft объявили о партнерском соглашении в области квантовых вычислений с целью развития исследований в Германии. Целью сотрудничества является создание ново...
[Из песочницы] Визуализация зависимостей и наследований между моделями машинного обучения Несколько месяцев назад я столкнулся с проблемой, моя модель построенная на алгоритмах машинного обучения просто на просто не работала. Я долго думал над тем, как решить эту проблему и в какой-то момент осознал что мои знания очень ограничены, а идеи скудны. Я знаю пару де...
ASUS Zenfone 6Z посетил Geekbench: чипсет Snapdragon 855 и 6 Гбайт ОЗУ Как известно, линейка смартфонов ZenFone 5 включает в себя модели ZenFone 5Q Lite, ZenFone 5 и ZenFone 5Z. Сегодня в базе данных Geekbench появился смартфон с модельным номером ASUS_I01WD, который, как ожидается, станет последователем ZenFone 5Z и, соответственно, будет пре...
Pentaho Data Integration (PDI), Python и глубокое обучение Привет, Хабр! Представляю вашему вниманию перевод статьи «Pentaho Data Integration (PDI), Python and Deep Learning». Глубокое Обучение (DL) — почему вокруг него столько шума? По данным Zion Market Research, рынок глубокого обучения (DL) увеличится с 2,3 млрд долларов в 201...
Deep TabNine – инструмент на базе искусственного интеллекта, который помогает писать код За прошедший год искусственный интеллект заметно улучшил свои способности генерировать письменную речь. Сканируя массивные данные, программа на базе машинного обучения может создавать практически всё, начиная от коротких рассказов до текстов песен. Теперь эти же методы приме...
Введение в функциональные зависимости В этой статье мы поговорим о функциональных зависимостях в базах данных — что это такое, где применяются и какие алгоритмы существуют для их поиска. Рассматривать функциональные зависимости мы будем в контексте реляционных баз данных. Если говорить совсем грубо, то в таких ...
Смартфон Xiaomi Mi 9T станет результатом ребрендинга Redmi K20 Как ожидается, 12 июня состоится презентация смартфона Xiaomi Mi 9T. И хотя компания не спешит делиться большим количеством информации об этой модели, судя по предварительным данным, это будет переименованное устройство Redmi K20. Теперь, когда данный аппарат засветился в ба...
Нейросеть создает резюме по фотографии Прорывная технология в интернет-рекрутменте стала возможна после анализа свыше 25 миллионов фото из резюме, которые есть в базе Superjob. Так, с вероятностью 98% алгоритм Superjob может определить наличие или отсутствие у пользователя высшего образования, его пол, возраст и ...
В сети обнаружили базу данных с номерами телефонов 419 миллионов пользователей Facebook, в соцсети назвали данные устаревшими Компания Facebook продолжает фигурировать в разного рода утечках данных. На этой неделе стало известно об очередной такой. Эксперт по безопасности Саньям Джейн обнаружил на незащищенном сервере достаточно немаленькую базу, содержащую разного рода информацию о пользователях F...
Дайджест новостей машинного обучения и искусственного интеллекта за июль Привет, читатель! Отфильтровав для вас большое количество источников и подписок — собрал все наиболее значимые новости из мира машинного обучения и искусственного интеллекта за июль. Не забудьте поделиться с коллегами, или просто с теми, кому интересны такие новости. В конце...
Данные миллионов российских должников месяцы висели в открытом доступе Причиной того, что данные стали видны всем пользователям интернета, стала ошибочная конфигурация сервера, который, скорее всего, принадлежит «ГринМани» — его IP-адрес отправляет на тестовую страницу сайта компании. Большую часть данных составляли сведения из бюро кредитных и...
В Сибири нашли способ снизить стоимость кардиостимуляторов Ученые из ИНХ СО РАН при содействии компании «Элестим-кардио» — ведущего российского производителя кардиостимуляторов, — провели изыскания и смогли применить передовую технологию химического осаждения металлорганических соединений (MOCVD) для нанесения тонкого слоя платины и...
Обучение моделей TensorFlow с помощью Службы машинного обучения Azure Для глубокого обучения нейронных сетей (DNN) с помощью TensorFlow служба «Машинное обучение Azure» предоставляет пользовательский класс TensorFlow средства оценки Estimator. Средство оценки TensorFlow в пакете Azure SDK (не следует путать с классом tf.estimator.Estimator) по...
Нормализация данных в распределенной БД, микросервисах и ERP Привет, Хабр! Эта маленькая заметка родилась в процессе обсуждения статьи «Распределенные монолиты...», а поскольку тема требует дальнейшего раздумья — я решил зафиксировать ее у себя в блоге. Автор статьи фактически описывает распределенную базу данных, доказывая, что един...
[Из песочницы] Как я учил змейку играть в себя с помощью Q-Network Однажды, исследуя глубины интернета, я наткнулся на видео, где человек обучает змейку с помощью генетического алгоритма. И мне захотелось так же. Но просто взять все то же самое и написать на python было бы не интересно. И я решил использовать более современный подход для об...
Финских заключенных приобщили к обучению алгоритмов Финский стартап Vainu, занимающийся созданием управляемой искусственным интеллектом обширной базы данных предприятий по всему миру, призванной помогать фирмам находить подрядчиков, подключил к тренировке алгоритмов заключенных из тюрем. Как сообщается, идея использовать труд...
[Из песочницы] Универсальное DRO на базе Arduino Nano — shDRO Дамы и господа, здравствуйте. В данной статье я расскажу о разработке устройства для снятия показаний с цифровых линеек и других датчиков, размещенных на токарных и фрезерных станках. Разработка ещё не завершена и будет описано то, что сделано на данный момент. Кому интер...
Как я научила робота бегать по видео с YouTube Мы продолжаем рассказывать о совместных научных проектах наших студентов и JetBrains Research. В этой статье поговорим об алгоритмах глубокого обучения с подкреплением, которые используются для моделирования двигательного аппарата человека. Смоделировать все возможные движе...
[Из песочницы] Логирование всех запросов к Базе данных в Asp.Net Boilerplate 4.3 .Net Core 2.1 Часто в проекте возникает непонятная ошибка для которой необходимо максимальное логирование всех запросов к Базе данных. Статья поможет тем, кто пишет (развертывает на сервере) один из своих первых проектов на Asp.Net Boilerplate. Читать дальше →
В сети обнаружена база, содержащая 419 млн телефонных номеров пользователей Facebook СМИ сообщают, что в сети был обнаружен неправильно настроенный сервер, на котором размещалась база пользователей Facebook, содержавшая более 419 000 000 записей. Помимо уникальных ID пользователей, в базе были телефонные номера и другие данные.
Круиз-контроль Hyundai на базе ИИ будет учиться у водителя Компания Hyundai Motor Group сообщила о разработке «умного» круиз-контроля на базе искусственного интеллекта (Smart Cruise Control, SCC-ML), который будет выстраивать индивидуальный алгоритм беспилотного движения в соответствии со стилем вождения владельца автомобиля. Если д...
Утечка данных (которая могла произойти, но не произошла) из телемедицинской компании Буквально пару дней назад я писал на Хабре про то, как российский медицинский онлайн-сервис DOC+ умудрился оставить в открытом доступе базу данных с детальными логами доступа, из которых можно было получить данные пациентов и сотрудников сервиса. И вот новый инцидент, с уже ...
Rats on The Boat Децентрализованный поисковик который невозможно заблокировать “Крысы на борту” — торрент поисковик собирающий статистическую информацию о торрентах не используя торрент-трекеры и дающих возможность обеспечить поиск по торрентам (и отдельным файлам в них) даже если все т...
Персональные данные 20 млн россиян оказались в открытом доступе Об этом пишет "КоммерсантЪ" со ссылкой на британскую исследовательскую компанию Comparitech.Comparitech занимается расследованием ситуации вместе с независимым исследователем в области безопасности Бобом Дьяченко, который и обнаружил утечку. Данные были индексирова...
[Из песочницы] Учеба в зарубежном вузе от первого лица Доброго времени суток, хабровчане! В данной статье речь пойдёт о различиях организации и методов обучения в высших учебных заведениях Грузии и России, а также о BTU, студентом, которого являюсь я сам. Кроме этого, в конце статьи приведены мои субъективные взгляды по улучш...
«Яндекс» запустил поисковик по базе российских патентов за последние 95 лет На днях компания «Яндекс» представила новый сервис «Яндекс.патенты», открывающий пользователям бесплатный доступ к более чем 2,5 млн различным российским патентным документам. Найти их можно не только через сам сервис, но и при помощи поисковика «Яндекса». Сообщается, что ...
Оцифрована учетная документация Музея-квартиры А.М. Горького Корпорация ЭЛАР завершила проект создания электронного страхового фонда учетной документации Музея-квартиры А.М. Горького Института мировой литературы им. А.М. Горького Российской академии наук (ИМЛИ РАН). В результате выполненных работ бережно оцифрованы книги посту...
Оптимизация запросов базы данных на примере B2B сервиса для строителей Как вырасти в 10 раз под количеству запросов к БД не переезжая на более производительный сервер и сохранить работоспособность системы? Я расскажу, как мы боролись с падением производительности нашей базы данных, как оптимизировали SQL запросы, чтобы обслуживать как можно бол...
Большая подборка полезных ресурсов для продакт-менеджеров Мы в продуктовой команде Miro уделяем много внимания тому, чтобы получать нужные и полезные знания. Как известно, ресурсов огромное количество и недостатка в информации нет. Самое главное — выбрать, что читать. Мы посмотрели и попробовали множество ресурсов, собрали для себя...
Данные на 80 миллионов американских домохозяйств оказались в открытом доступе В базу включены полные почтовые адреса домов, географическая широта и долгота, полные имена проживающих, их возраст и дата рождения.
Что происходит с искусственным интеллектом? Анализ 16 625 работ за последние 25 лет Практически все, что вы слышите об искусственном интеллекте сегодня, происходит благодаря глубокому обучению. Эта категория алгоритмов работает со статистикой, чтобы найти закономерности в данных, и показала себя чрезвычайно мощной в имитации человеческих навыков, таких как...
ИИ Microsoft экономит до 70 рабочих часов в месяц техподдержке 2GIS Внедрение системы автоматической категоризации заявок на базе машинного обучения Azure Machine Learning позволило существенно сократить время на их обработку и, тем самым, высвободить более 70 рабочих часов ...
Правительство Бразилии создает единую базу данных граждан Согласно указу, подписанному президентом Бразилии Жаиром Болсонару, база данных создается с целью совершенствования государственной политики, а также для упрощения обмена данными между правительственными ведомствами. В соответствии с указом информация в этой базе данных долж...
Закон Галла: что он гласит и как применяется в IT Рассказываем, в чем суть закономерности, как она себя проявляет и что бывает, когда эту закономерность не учитывают в процессе проектирования и разработки IT-систем. Фото — Spencer — Unsplash В книге «Сам себе MBA. Самообразование на 100%», написанной Джошом Кауфманом (Jo...
Биологи нашли неизвестные морские личинки и не знают, что из них вырастет Наша планета до сих пор полна неизвестными науке живыми существами, и большинство из них обитают в глубинах океана. Совсем недавно биологам из Смитсоновского института удалось найти множество микроскопических личинок, из которых впоследствии могут вырасти совершенно новые д...
База данных KDB+: от финансов до «Формулы 1» KDB+, продукт компании KX — это широко известная в узких кругах, исключительно быстрая, колоночная база данных, предназначенная для хранения временных рядов и аналитических вычислений на их основе. Изначально она пользовалась (и пользуется) большой популярностью в индустрии ...
[Перевод] 5 чрезвычайно простых способов ощутимо повысить скорость вашего VueJS-приложения Здравствуйте. Перевод данной статьи подготовлен специально для студентов курса «Разработчик JavaScript», который стартует уже на следующей неделе. Голос Чуи Немного обо мне — меня зовут Вайбхав, я из Five2One. Я вовлечен во VueJS уже целых 2 года (с момента выхода 1.0) и...
Другой GitHub: репозитории по Data Science, визуализации данных и глубокому обучению (с) Гитхаб — это не просто площадка для хостинга и совместной разработки IT-проектов, но и огромная база знаний, составленная сотнями экспертов. К счастью, сервис предоставляет не просто инструменты для работы с открытым исходным кодом, но и качественные материалы для обуч...
Стало понятно, почему в России перестали работать пиратские фильмы и сериалы В последние дни наблюдаются проблемы с просмотром фильмов и сериалов во многих любимых россиянами онлайн-кинотеатрах, которые не отягчали себя выполнением требований правообладателей. Известное тематическое издание TorrentFreak выяснило причину этих проблем. ...
Нашумевшие утечки данных пользователей за январь — апрель 2019 В 2018 году в мире было зарегистрировано 2263 публичных случая утечки конфиденциальной информации. Персональные данные и платёжная информация были скомпрометированы в 86% инцидентов — это около 7,3 миллиарда записей пользовательских данных. Японская криптобиржа Coincheck в...
Перемещения сквозь пространство и время Человеком всегда движет тяга к неизведанному, у него даже есть специальный нейромедиатор – дофамин, который является химическим мотиватором к получению информации. Мозгу постоянно нужен поток новых данных и даже если эти данные не нужны для выживания – так уж получилось, что...
Нагрузочное тестирование игры с парой сотен тысяч виртуальных пользователей Привет, Хабр! Я работаю в игровой компании, которая разрабатывает онлайн-игры. На текущий момент все наши игры делятся на множество “маркетов” (один “маркет” на страну) и в каждом “маркете” есть дюжина миров, между которыми распределяются игроки при регистрации (ну или иног...
Boot Finder: поиск обуви по фотографии Boot Finder - пример машинного обучения на устройстве, поиск ботинок по фотографии.
Что предложат новые хранилища для систем ИИ и МО MAX Data объединят с Optane DC для эффективной работы с системами ИИ и МО. Фото — Hitesh Choudhary — Unsplash По данным исследования MIT Sloan Management Review и The Boston Consulting Group, 85% из трех тысяч опрошенных управленцев считают, что системы ИИ помогут их комп...
Habr Weekly #5 / Темные темы везде, китайские фабрики в РФ, куда утекли базы банков, Pixel 4, ML загрязняет атмосферу Вышел свежий выпуск подкаста Habr Weekly. Радуемся за Ивана Голунова и обсуждаем посты, опубликованные на Хабре на этой неделе: Темные темы станут дефолтными. Или нет? Министр связи России предложил китайцам перенести производство в Россию. Правительство России предложило...
Хакеры опубликовали огромную базу данных с 773 миллионами уникальных почтовых адресов и 22 миллионами паролей (Проверьте, нужно ли вам менять пароль) Стало известно об очередной крупной утечке персональной информации пользователей. Неизвестные выложили в интернет базу данных объемом 87 ГБ, содержащую 773 миллиона уникальных адресов электронной почты и 22 миллиона уникальных паролей. Об инциденте сообщил известный эксперт ...
[Из песочницы] Захват сигнала мышечной активности в систему машинного обучения Около года назад ко мне пришла идея создания открытого фреймворка для нейроинтерфейсов. Читать дальше →
[Перевод] Как искусственный интеллект меняет науку Новейшие алгоритмы ИИ разбираются в эволюции галактик, подсчитывают функции квантовых волн, открывают новые химические соединения, и прочее. Есть ли что-нибудь в работе учёных, что не получится автоматизировать? Никакой человек или даже группа людей не может поспевать за в...
WAL в PostgreSQL: 4. Настройка журнала Итак, мы познакомились с устройством буферного кеша и на его примере поняли, что когда при сбое пропадает содержимое оперативной памяти, для восстановления необходим журнал предзаписи. Размер необходимых файлов журнала и время восстановления ограничены благодаря периодически...
[Перевод - recovery mode ] Использование Union вместо OR Иногда медленные запросы можно исправить, немного изменив запрос. Один из таких примеров может быть проиллюстрирован, когда несколько значений сравниваются в предложении WHERE с помощью оператора OR или IN. Часто OR может вызывать сканирование индекса или таблицы, которая м...
Безопасность алгоритмов машинного обучения. Защита и тестирование моделей с использованием Python В рамках предыдущей статьи мы рассказали про такую проблему машинного обучения, как Adversarial примеры и некоторые виды атак, которые позволяют их генерировать. В данной статье речь пойдет об алгоритмах защиты от такого рода эффекта и рекомендациях по тестированию моделей....
Европа создает крупнейшую в мире базу биометрических данных Cистема под названием Common Identity Repository (CIR) будет связывать существующие регуляторные системы ЕС для контроля над всеми аспектами жизни европейцев, от поездок до перехода через границу. Новая платформа должна объединить разрозненные базы данных, включающие информа...
Ученые: сложные формы жизни были образованы благодаря крохотным хищникам Говоря о Ледниковом периоде, мы сразу думаем о масштабном похолодании, случившемся примерно 110 тысяч лет назад. Однако у ученых есть теория, что задолго до всем известного периода наша планета столкнулась с настолько сильным уменьшением температуры, что она стала похожа на...
Проект Open Data Hub – открытая платформа машинного обучения на базе Red Hat OpenShift Будущее наступило, технологии искусственного интеллекта и машинного обучения уже успешно используют ваши любимые магазины, транспортные компании и даже фермы, выращивающие индеек. А если что-то существует, значит в интернете про это уже есть… открытый проект! Смотрите к...
Медицинский кубик Рубика сможет расказать о ваших болезнях Кубик Рубика. Пожалуй, это одна из самых известных головоломок на сегодняшний день. В собирании кубика Рубика постоянно ставят все новые рекорды (если у вас есть свой рекорд, поделитесь им в нашем чате в Телеграм). Причем делают это не только люди, но и искусственный интелл...
«Лента» развивает управление персонализированными маркетинговыми кампаниями на базе SAP В ходе проекта в "Ленте" будет создана единая платформа для анализа покупательского поведения и эффективности маркетинговых акций. На базе платформы будет собираться вся информация о клиентском опыте: активности и взаимодействия в различных каналах, чеки, данные из...
[Перевод] Руководство по развертыванию моделей машинного обучения в рабочей среде в качестве API с помощью Flask Друзья, в конце марта мы запускаем новый поток по курсу «Data Scientist». И прямо сейчас начинаем делиться с вами полезным материалом по курсу. Введение Вспоминая ранний опыт своего увлечения машинным обучением (ML) могу сказать, что много усилий уходило на построение дейс...
Создание бэкенд приложения для онлайн чата Apollo, Node.js Некоторое время назад я работал над мобильным приложением, функционал которого включал в себя удобный онлайн-чат. И теперь я решил написать статью с краткой инструкцией, как создать чат, используя apollo server и node.js на бэкенде, а так же react native и apollo client на к...
[Из песочницы] Краткое введение в рекурсию. JavaScript Перевод: Привет, Хабр! Представляю вашему вниманию перевод статьи "A Quick Intro to Recursion in Javascript" Yazeed Bzadough. Примечание. Рекурсия не единожды обсуждалась на хабре, но данная статья даёт базовое понимание рекурсии. Это будет полезно начинающим разр...
[Перевод] Отличия LabelEncoder и OneHotEncoder в SciKit Learn Если вы недавно начали свой путь в машинном обучении, вы можете запутаться между LabelEncoder и OneHotEncoder. Оба кодировщика — часть библиотеки SciKit Learn в Python и оба используются для преобразования категориальных или текстовых данных в числа, которые наши предсказате...
Microsoft: в 2020 году будет 1 млрд устройств на базе Windows 10 Microsoft не без гордости сообщила о том, что она находится практически в одном шаге от того, чтобы объявить о том, что количество устройств, работающий на Windows 10 достигло отметки в 1 млрд. На данный момент более 900 млн устройств работают на актуальной десктопн...
Чат-бот и машинное обучение помогли сократить процесс выдачи интернет-заказов в «М.Видео» Розничная сеть «М.Видео» (Группа «М.Видео – Эльдорадо», относится к Группе «САФМАР» М.Гуцериева) объявила о том, что в более 179 ее магазинах в 16 крупных городах нашей страны успешно действует новая схема выдачи интернет-заказов. Применение в ее рамках чат-бота и машинного ...
«Коммерсантъ»: неизвестные продают базу на миллион строк с личными данными клиентов «Сбербанка» Источник РБК говорит, что база неактуальна, а в самом «Сбербанке» отвергают утечку.
«Ждёт тебя дорога дальняя…» или решение задачи прогнозирования на C# с помощью Ml.NET (DataScience) В последнее время мне все чаще на глаза попадается информация о фреймворке для машинного обучения Ml.NET. Количество упоминаний о нем переросло в качество, и я решил хотя бы одним глазком глянуть, что же это за зверь такой. Ранее мы с вами уже пробовали решить простейшую з...
Компания «Динамика» предоставляет новый программный продукт «Dynamika-Финансовый мониторинг» «Dynamika-Финансовый мониторинг» представляет собой рабочее место специалиста Финансового мониторинга на базе программного обеспечения «Dynamika-Единое окно» (включено в Единый реестр российских программ для электронных вычислительных машин и баз дан...
Как распознать картинки и тексты на телефоне с помощью ML Kit Два года назад Сундар Пичаи, глава Google, рассказал о том, что компания из mobile-first становится AI-first и фокусируется на машинном обучении. Год спустя вышел Machine Learning Kit — набор инструментов, с которым можно эффективно использовать ML на iOS и Android. Об ML ...
[Из песочницы] Использование SQLite в Unity (Unity + SQLite) Всем привет, данная публикация будет посвящена работе с встраиваемой реляционной базой данных SQLite в Unity. Данная статья написана новичком для новичков с целью показания работы с SQLite, предполагается, что вы знаете основы SQL. Так как в интернете нет ясного тутора для н...
Univention Corporate Server (UCS) — установка простого и удобного LDAP сервера с web-панелью и его связка с Nextcloud Рано или поздно на любом маленьком или среднем предприятии возникает задача по созданию единого центра авторизации пользователей в многочисленных сервисах и порталах компании. Среди кандидатов на такой центр авторизации сразу приходит в голову Microsoft Active Directory ил...
РНР-безопасность: где и как хранить пароли. Часть 2 Всем привет! На прошлой неделе мы опубликовали первую часть данной статьи, чем вызвали нешуточный холивар. Одной из главных претензий было отсутствие в статье упоминания password_hash, как мы и обещали, вторую часть данного материала начнем как раз таки с хеширования парол...
[Перевод] Храним SSH-ключи безопасно Хочу рассказать как безопасно хранить SSH-ключи на локальной машине, не боясь за то, что какое-то приложение может украсть или расшифровать их. Статья будет полезна тем, кто так и не нашел элегантного решения после паранои в 2018 и продолжает хранить ключи в $HOME/.ssh. Для...
Из новогодней елки можно сделать сладости Хвоя рождественских, да и любых других, елок состоит из сотен тысяч иголок, которые разлагаются примерно так же, как и другие древесные листья. При гниении они выделяют огромное количество парниковых газов. Синтия Картей из Университета Шеффилда, обнаружила, что из продуктов...
Глубоководный метан поможет понять, как зародилась жизнь на Земле Метан — бесцветное вещество, без запаха и вкуса, настолько распространенное в пределах Солнечной Системы, что содержится в больших количествах в атмосфере Юпитера и Сатурна, образовывает целые моря и озера на Титане, и, возможно, покрывает поверхность далекой карликов...
[Перевод] Семь книг для тех, кто хочет стать гейм-дизайнером В этой статье рассказывается о том, когда и как дизайн игр стал профессией, а также о том, как он сформировался в отдельную дисциплину. Также мы предложим 7 книг, которые нужно прочитать каждому гейм-дизайнеру. Мы объясним, что особо ценного в этих книгах и как они позволят...
Apple настроена на 100 млн iPhone в 2020 году Компания Apple на этой неделе отправила прогноз по отгрузкам смартфонов iPhone на 2020 год своим ключевым партнерам по цепочке поставок. Похоже, Apple уверена в хороших продажах смартфонов линейки iPhone 12. В прогнозе указано, что в следующем году поставки смартфонов i...
Использование DiagnosticSource в .NET Core: теория DiagnosticSource — это простой, но весьма полезный набор API (доступен в NuGet пакете System.Diagnostics.DiagnosticSource), который, с одной стороны, позволяет различным библиотекам отправлять именованные события о своей работе, а с другой — позволяет приложениям подписывать...
Конверсии результатов показа в клики для Google и Яндекс в 2019 году Данная статья будет полезна для продукт менеджеров, маркетологов и всех тех, кому интересно знать вероятности переходов по позициям в зависимости от места в поисковой органической выдаче Google и Яндекс. В ней будет несколько фактов, цифр, ссылок и выводов, которые я для с...
Кастомизация Django ORM на примере ZomboDB Кастомизация Django ORM на примере ZomboDB Часто при работе с Django и PostgreSQL возникает необходимость в дополнительных расширениях для базы данных. И если например с hstore или PostGIS (благодаря GeoDjango) всё достаточно удобно, то c более редкими расширениями — вроде p...
Что вам нужно знать о Firebase: 9 советов Полезные советы, основанные на личном опыте использования Firebase и его базы данных, были опубликованы в блоге Lemberg Solutions. Firebase – это облачный сервис, сочетающий в себе множество функций: аутентификацию, базу данных в реальном времени, хранение файлов, уведомлени...
[Перевод] Краткий и бодрый обзор архитектуры компиляторов Большинство компиляторов имеют следующую архитектуру: В данной статье я собираюсь детально препарировать эту архитектуру, элемент за элементом. Можно сказать, что эта статья — дополнение к огромному количеству существующих ресурсов на тему компиляторов. Она является а...
Работа с навигацией при рефакторинге легаси проекта в React Native Данный материал посвящен работе по рефакторингу навигации в мобильной разработке. В статье приведены примеры возможных проблем, а также выходов из сложных ситуаций, связанных с работой навигации в мобильной разработке на React Native. Мы рассмотрим основные особенности и ...
Google собирает данные медицинских карт пациентов в ... Не секрет, что сейчас все крупные компании так или иначе собирают конфиденциальные данные о пользователях. Время от времени Google попадает в скандалы, связанные со сбором огромного массива личных данных. Новые обвинения По результатам очередного расследования, которое про...
Растения предупреждают своих сородичей об опасности Растения способны предупреждать друг друга об угрозе вредителей У растений есть много особенных качеств, которые выделяют их среди других обитателей планеты. Так, растения не болеют раком, они способны подстраиваться под естественные нужды других живых организмов и даже умею...
Исправлено свыше 3,6 млн ошибочных сведений в базе данных госорганов Казахстана Глава правительства поручил закончить актуализацию баз данных до 1 апреля.
[Перевод] Мы не можем доверять ИИ-системам, построенным на одном лишь глубоком обучении Этот текст — не результат научного исследования, а одно из многих мнений относительно нашего ближайшего технологического развития. И заодно приглашение к дискуссии. Гари Маркус, профессор Нью-Йоркского университета, уверен, что глубокое обучение играет важную роль в разви...
Обучение локализации в Вашингтонском университете В этой статье Sub Lead Localization Manager компании Plarium Krasnodar Эльвира Шарипова рассказывает о том, как она проходила онлайн-обучение по программе Localization: Customizing Software for the World. Зачем матерому локализатору становиться студентом? Какие сложности ожи...
[Из песочницы] Способы сегментации точек в Point Clouds Введение Некоторое время назад мне потребовалось решить задачу сегментации точек в Point Cloud (облака точек — данные, полученные с лидаров). Пример данных и решаемой задачи: Поиски общего обзора существующих методов оказались неуспешными, поэтому пришлось собирать информац...
PHP-модуль для работы с иерархическими данными в БД InterSystems IRIS PHP с начала своих времён славен (и критикуем) тем, что поддерживает интеграцию с массой библиотек, а также с практически со всеми БД существующими на рынке. Однако в силу каких-то странных причин в нём не было поддержки иерархических баз данных на глобалах. Глобалы — это ...
В рамках услуги MNP в России перенесено 29 миллионов номеров Двадцатидевятимимиллионная заявка на перенос номера зафиксирована в Москве от физического лица. Четырнадцатимиллионный абонентский номер перенесен в Кировской области.В соответствии со статистикой подведомственного Россвязи ФГУП ЦНИИС (оператора базы данных перенесённых номе...
[Перевод] Нейросеть для классификации спутниковых снимков с помощью Tensorflow на Python Это пошаговая инструкция по классификации мультиспектральных снимков со спутника Landsat 5. Сегодня в ряде сфер глубокое обучение доминирует как инструмент для решения сложных проблем, в том числе геопространственных. Надеюсь, вы знакомы с датасетами спутниковых снимков, в...
Идея о поиске людей в лесу Эта статья описание небольшой идеи возникшей после прочтения недавней статьи «Обыскать 314 км² за 10 часов — финальное сражение инженеров-поисковиков против леса» Сразу предупрежу, что у меня маловато опыта в радиотехнике, и совсем нет оного в поиске пропавших людей, так чт...
Отказоустойчивый кластер PostgreSQL + Patroni. Опыт внедрения В статье я расскажу, как мы подошли к вопросу отказоустойчивости PostgreSQL, почему это стало для нас важно и что в итоге получилось. У нас высоконагруженный сервис: 2,5 млн пользователей по всему миру, 50К+ активных пользователей каждый день. Сервера находятся в Amazone в ...
Эксперт нашёл в облаке Alibaba открытую базу с личными данными жителей Пекина — за ними следили системы «умного» города В базе хранились сканы из системы распознавания лиц, примерный возраст и национальность жителей, а также другие данные.
Как в Яндекс.Такси ищут машины, когда их нет Хороший сервис для заказа такси должен быть безопасным, надёжным и быстрым. Пользователь не станет вдаваться в детали: ему важно, чтобы он нажал кнопку «Заказать» и как можно быстрее получил машину, которая доставит его из точки А в точку Б. Если рядом нет машин — сервис д...
Toyota покажет на CES 2019 обновленный автомобиль TRI-P4 для тестирования самоуправляемого движения На следующей неделе институт Toyota Research Institute (TRI) представит на выставке CES тестовый автомобиль для разработки систем самоуправляемого движения TRI-P4. Базой для него послужил новый флагманский седан Lexus LS пятого поколения. Машина будет использоваться пр...
[Перевод] Наука находится на грани трансляции Твиттера прямо в ваш мозг Потоки данных скоро будут передаваться прямо в наш мозг, что позволит нам по-новому взглянуть на мир Не желаете добавить себе новые разновидности ощущений? Эта идея требует пояснений. Главное что нужно понимать — наш мозг заточен в тишине и темноте внутри черепной коробки....
Создано устройство для проверки товаров на подделки Российская платформа Oskelly занялась внедрением новой технологии под названием Entrupy. Основной ее задачей является помощь пользователям в проверке товаров на подлинность. Устройство работает на базе машинного обучения и искусственного интеллекта.
Вышел финальный релиз TensorFlow 2.0 Вчера 30 сентября Google объявил о выходе финального релиза TensorFlow 2.0. «TensorFlow 2.0 является ПО с открытым исходным кодом и поддерживается сообществом, которое говорит, что им нужна простая в использовании платформа, гибкая и мощная, которая поддерживает развертыв...
Google следит за здоровьем американцев Об этом сообщает "КоммерсантЪ" со ссылкой на данные The Wall Street Journal (WSJ). В компании подтвердили существование сделки под кодовым названием "Проект Соловей" и заявили, что она не нарушает законодательства.По данным WSJ, проект был запущен в 2018 ...
[Перевод] Новый подход к пониманию мышления машин Нейросети известны своей непостижимостью – компьютер может выдать хороший ответ, но не сможет объяснить, что привело его к такому заключению. Бин Ким разрабатывает «переводчик на человеческий», чтобы, если искусственный интеллект сломается, мы смогли это понять. Бин Ким, ис...
Используем данные на практике Между идеальным алгоритмом машинного обучения в вакууме и его применением на реальных данных часто лежит пропасть. Вроде бы берешь статью: алгоритм есть, сходимость для данных такого-то типа есть — бери и применяй. Но почему-то оказывается, что твоих данных недостаточно для ...
Какие ноутбуки и смартфоны искали и покупали чаще всего в 2018 году? Яндекс.Маркет сегодня содержит в своей базе информацию о более чем 160 миллионах наименований товаров, которые доступны к приобретению на территории России. Количество интернет-магазинов, которые сотрудничают с сервисом, превышает 20 тысяч. Аудитория сервиса — более 3 милл...
[Перевод] Обновления ML.NET Model Builder ML.NET -- это кроссплатформенный фреймворк машинного обучения для .NET-разработчиков. А Model Builder -- это инструмент пользовательского интерфейса в Visual Studio, который использует Automated Machine Learning (AutoML), чтобы легко обучать и использовать пользовательские м...
Минобороны РФ сообщило о готовящейся «химической» провокации боевиков в Идлибе Ожидается, что в постановке будут задействованы «жертвы» и осколки российских боеприпасов. В ночь на 17 мая Центр по примирению враждующих сторон сообщил, что полученная информация о готовящейся акции боевиков получила подтверждения из других независимых источников. Местные...
Таблица Менделеева для iPhone Химия представляет собой главную, основную естественную науку. Химия изучает свойства элементов и образованных ими соединений, которые составляют Вселенную. Почему железо ржавеет, а олово нет? Как изменится поверхность планеты, если песок станет растворимым? Почему ра...
[Перевод] Тренинг Cisco 200-125 CCNA v3.0. День 14. VTP, Pruning и Native VLAN Сегодня мы продолжим рассмотрение VLAN и обсудим протокол VTP, а также понятия VTP Pruning и Native VLAN. В одном из предыдущих видео мы уже говорили о VTP, и первое, что должно прийти вам на ум, когда вы слышите о VTP, это то, что он не является протоколом транкинга, несмот...
Kaggle: не можем ходить — будем бегать Насколько сложна тема машинного обучения? Если Вы неплохо математически подкованы, но объем знаний о машинном обучении стремится к нулю, как далеко Вы сможете зайти в серьезном конкурсе на платформе Kaggle? Попробуем выяснить, насколько глубока кроличья нора
[Из песочницы] Rekko Challenge — как занять 2-е место в конкурсе по созданию рекомендательных систем Всем привет. Моя команда в Тинькофф занимается построением рекомендательных систем. Если вы довольны вашим ежемесячным кэшбэком, то это наших рук дело. Также мы построили рекомендательную систему спецпредложений от партнеров и занимается индивидуальными подборками Stories в ...
PostGIS и JPA PostGIS — открытое программное обеспечение, добавляющее поддержку географических объектов в реляционную базу данных PostgreSQL. В этой небольшой статье будет рассмотрено использование его в Java. В частности — задача нахождения географических объектов по их координатам. Ч...
[Из песочницы] Создаю глобальную базу знаний по элементам питания Тестирую элементы питания на профессиональном оборудование. Цель охватить большую часть рынка элементов питания Европы и России. На данный момент протестированы более 230 аккумуляторов и батареек. Сделано более 1000 тестов. Израсходовано 4 ящика батареек и несколько месяце...
[Из песочницы] Учимся стандарту проектирования — Entity Relationship Здравствуйте. Данная статья посвящена одной из самых популярных, а также и многим знакомой, модели проектирования — ER(Entity Relationship), которая была предложена учёным, в области информатики — Питером Ченом, в 1976 году. По ходу статьи простым языком на простых примера...
Python + OpenCV + Keras: делаем распознавалку текста за полчаса Привет Хабр. После экспериментов с многим известной базой из 60000 рукописных цифр MNIST возник логичный вопрос, есть ли что-то похожее, но с поддержкой не только цифр, но и букв. Как оказалось, есть, и называется такая база, как можно догадаться, Extended MNIST (EMNIST). ...
[Из песочницы] Liqubase и Maven Введение Liquibase представляет из себя систему управления версиями базы данных, в основном это касается структуры и в меньшей степени содержимого базы. При этом описание базы с одной стороны достаточно абстрактно и позволяет использовать на нижнем уровне различные СУБД, и с...
Парсинг сайтов — а это вообще легально в России? По одному из определений парсинг есть синтаксический анализ информации. Человеку, не вовлечённому в конкретные задачи сбора и обработки информации для Интернет-проектов, это не говорит ни о чём. Да и само определение лишь в общих чертах обозначает огромный объём работы, кото...
Очередная победа Deep Mind: после шахмат и го искусственный интеллект покорил StarCraft В ноябре 2017 года, то есть чуть больше года назад, мы писали, что искусственный интеллект пока не в силах одолеть профессиональных игроков в StarCraft. Но не прошло и года, как и этот барьер оказался взят. В прошлом месяце в Лондоне команда из английского подразделения исс...
Машинное обучение в Додо. Как запустить новое направление, если ты разработчик По катом история о том, как в Додо появилось направление машинного обучения. Спойлер: это я его запустил. Хардкорных технических подробностей тут не будет, обязательно посвящу им отдельную статью. Сегодня больше про мотивацию и поддержку коллег. Читать дальше →
Биометрические данные и пароли миллионов людей по всему миру оказались в открытом доступе Британское издание The Guardian сообщило о базе с незащищёнными биометрическими данными и прочей персональной информацией, которую обнаружили исследователи безопасности Ноам Ротем (Noam Rotem) и Ран Локар (Ran Locar). В общедоступной базе содержаться данные более миллиона по...
Циклокарбон — первый шаг на пути к созданию искусственного мозга Углерод является одним из самых распространенных химических элементов на нашей планете. Более того, углерод — это основа нашего существования, ведь мы, по-факту, являемся углеродными формами жизни. Так как уникальная химическая структура углерода позволяет ему легко с...
Простой ASN1-кодек на базе sprintf Транспортный синтаксис ASN.1 определяет однозначный способ преобразования значений переменных допустимых типов в последовательность байт для передачи по сети. В ASN.1 он называется базовыми правилами кодирования (Basic Encoding Rules, BER). Правила являются рекурсивными, так...
Генератор бизнес писем в PDF по данным из XML Очень часто в производстве возникает задача разослать несколько писем с вложением в формате pdf. Это могут быть не только счета или фактуры, но и извещения или приглашения, персональные сообщения об акциях и тому подобное. Конечно, еще со свадьбы в записной книжке завалялось...
[Из песочницы] Операционные vs аналитические базы: колоночное vs построчное хранение данных Базы данных можно реализовать с помощью Excel, GSheet или при помощи больших ORM систем. В своей практике бизнес-аналитика я сталкивался с разными решениями. А поскольку в бизнес-анализ я пришёл из финансов и аудита, то каждый раз встречая новую систему задавался вопросами —...
[Перевод] Никогда больше не игнорируйте обучение с подкреплением Привет, Хабр! Представляю вашему вниманию перевод статьи «Don’t Ever Ignore Reinforcement Learning Again» автора Michel Kana, Ph.D. Обучение с учителем и обучение без учителя — это ещё не все. Все это знают. Начните с OpenAI Gym. Собираетесь победить чемпиона мира по шах...
Пользователи 5G не хотят возвращаться к 4G Южная Корея является первой страной в мире, где была запущена коммерческая сеть 5G. 1 декабря 2018 года SK, KT и LG Uplus, три крупнейших корейских оператора связи, начали предлагать услуги 5G корпоративным пользователям. На текущий момент в этой стране зарегистрировано...
Что скрывают глаза древнего чудовища: Туллимонстр Многие слышали про так называемого «Туллимонстра» или «монстра Талли», но на самом деле никто до сих пор не выяснил, что же он собой представляет. Кальмар? Минога? Длинные щупальца или глаза на стебельках? Когти? Вообщем, полная неразбериха. Напомним, что еще в 1955 году исс...
MyBook первым в России запустил масштабную синхронизацию электронных и аудиокниг На сегодняшний день синхронизировано более 2 000 электронных и аудиокниг, среди которых произведения таких популярных авторов как Борис Акунин, Юваль Ной Харари, Сергей Лукьяненко, Ю Несбё, Стивен Кови, Виктор Пелевин и многих других.В приложении и на сайте MyBook cинхронизи...
[Перевод] Проблема со связанными переменными: как превратить оптимизатор из врага в друга Автор статьи – Виктор Варламов, OCP. Оригинал статьи опубликован 07.07.2017. Отдельное спасибо автору перевода — brutaltag. В нашей системе подготовки отчетности обычно выполняются сотни длительных запросов, которые вызываются различными событиями. Параметрами запросов с...
Анализ производительности виртуальной машины в VMware vSphere. Часть 1: CPU Если вы администрируете виртуальную инфраструктуру на базе VMware vSphere (или любого другого стека технологий), то наверняка часто слышите от пользователей жалобы: «Виртуальная машина работает медленно!». В этом цикле статей разберу метрики производительности и расскажу, ...
[Из песочницы] Как было устроено хранилище DWH в TELE2 Здравствуйте, дорогие друзья. Сегодня хочу поделиться историей из жизни, как было устроено хранилище DWH в Tele2 до внедрения КХД (EDW). А в следующих статьях рассказать, как внедрялись ETL-инструменты, EDW и BI решения в Tele2. Поступил я в ИТ подразделение Tele2 в 2012 в о...
Natural Language Processing онлайн-чеков: курс уроков волшебства для обычного кота и другие проблемы Компания CleverDATA занимается разработкой платформы для работы с большими данными. В частности, на нашей платформе есть возможность работать с информацией из чеков онлайн-покупок. Перед нами стояла задача научиться обрабатывать текстовые данные чеков и строить на них вывод...
DeepPavlov для разработчиков: #2 настройка и деплоймент Всем привет! В первой статье из нашего цикла мы узнали, что такое DeepPavlov, какие модели библиотеки готовы к использованию без предварительного обучения и как запустить REST серверы с ними. Перед тем, как приступить к обучению моделей, мы расскажем о различных возможностях...
Бюджетный Samsung Galaxy A20e рискует стать самым компактным смартфоном новой линейки Galaxy A Смартфон Samsung Galaxy A20e, чья официальная премьера ожидается ровно через неделю (10 апреля) появился в базе данных Федеральной комиссии по связи США (FCC), занимающейся сертификацией новых устройств. Устройство было внесено в базу данных под модельным номером SM-A202F/DS...
ShIoTiny: обновления и уведомления О чем эта статья Продолжаем цикл статей о ShIoTiny — визуально программируемом контроллере на базе чипа ESP8266. В этой статье рассказано о том, что изменилось со времени предыдущей прошивки ShIoTiny: как изменился интерфейс пользователя; как переназначить «ножки» и други...
Все медучреждения Петербурга к 2020 году подключатся к единой электронной базе данных "У всех лечебных учреждений есть электронные системы, сейчас задача - к 1 января 2020 года чтобы они все были интегрированы единую систему. Это нужно и для контроля, и для оперативной передачи информации. Это единая общая государственная задача, которая в обозначена в н...
В рамках услуги MNP перенесено 11 миллионов номеров Одиннадцатимиллионный абонентский номер перенесен в Москве. В соответствии со статистикой подведомственного Россвязи ФГУП ЦНИИС за 2018 год успешно перенесено более 3,2 млн номеров, что на полмиллиона больше, чем за 2017 год.На сегодняшний день к базе данных перенесенных або...
К чему привела миграция с ClickHouse без авторизации на ClickHouse с авторизацией Давайте начнем с небольшой предыстории. У нас в компании на обслуживании стоит проект, который до недавнего времени находился в стадии тестирования/разработки. На тот момент в нём использовался ClickHouse с 3 шардами по 2 реплики в каждом. Учитывая то, что инфраструктура это...
В мире уже более 500 млн активных пользователей Xiaomi Сегодня финансовый директор Xiaomi Чжоу Гуанпин (Zhou Guangping) заявил в интервью, что доход от интернет-услуг Xiaomi в первом квартале 2019 года увеличился на 31,8% в годовом исчислении. Компания смогла добиться таких результатов в основном за счет быстрого роста баз...
Введение в машинное обучение Полный курс на русском языке можно найти по этой ссылке. Оригинальный курс на английском доступен по этой ссылке. Читать дальше →
Spotify потребовалось более 10 лет, чтобы стать прибыльной Spotify отчиталась о том, как для нее прошел последний квартал, отметив, что данный момент компания фиксирует более 207 млн активных ежемесячных пользователей. За последние три месяца 2018 года активная пользовательская база выросла на внушительные 16 млн человек. Конеч...
Венчурный фонд Softline инвестирует 20 млн рублей в стартап против списываний Полученные инвестиции стартап планирует направить на развитие технологии машинного обучения на больших данных и расширение присутствия в странах СНГ.
Расчет странового коэффициента УЕФА В футболе есть два популярных турнира: Лига Чемпионов и Лига Европы. На основании их результатов рассчитывается так называемый Рейтинг футбольных ассоциаций. На базе этого рейтинга в дальнейшем определяется, какое количество команд от каждой страны будет участвовать в посл...
Все ваши потребкредиты и персональные данные «в одном месте»… Продолжаем марафон утечек из российских баз данных, оставленных их владельцами в открытом доступе. На этот раз была обнаружена база MongoDB, не требующая аутентификации, с персональными данными и фотографиями заемщиков из Южного, Уральского и Приволжского федеральных округо...
Разговорный BERT — учим нейросеть языку соцсетей Одним из главных событий в области компьютерной лингвистики и машинного обучения в 2018 году был выпуск BERT от Google AI, который признан лучшим докладом года по мнению североамериканского отделения Ассоциации компьютерной лингвистики (NACL). В этой статье мы расскажем об э...
Как запустить ML-прототип за один день. Доклад Яндекс.Такси Машинное обучение применяется на всём цикле заказа автомобиля в Яндекс.Такси, и число компонентов сервиса, работающих благодаря ML, постоянно растёт. Чтобы строить их единообразно, нам потребовался обособленный процесс. Руководитель службы машинного обучения и анализа данных...
Роскомнадзор отправил запрос в Instagram относительно утечки данных 49 млн пользователей Роскомнадзор отправил в Instagram запрос, касающийся утечки личных данных 49 млн пользователей сервиса, о которой ранее сообщило издание TechCrunch. Среди скомпрометированных данных, размещенных в открытом доступе, оказались учетные записи, принадлежащие знаменитостям и изве...
В сеть утекли данные 60 млн клиентов Сбербанка На черный рынок попали данные 60 млн владельцев кредитных карт Сбербанка. Утечку называют самой крупной в российском банковском секторе, сообщает «Коммерсантъ». Данные продают на одном из форумов, заблокированных Роскомнадзором. Покупателям предлагают проверить под...
Машинное зрение и медицина Прошло лет пять с того момента как нейронные сетки начали втыкать в каждую дырку. Есть масса примеров где всё работает почти идеально — биометрия, распознавание технической информации (номера, коды), классификация и поиск в массиве данных. Есть области где всё хуже, но сейч...
ShIoTiny и окружающий мир: подключение датчиков к бинарным входам, дребезг контактов и другие вопросы Основные тезисы или о чем эта статья Очередная статья о ShIoTiny — визуально программируемом контроллере на базе чипа ESP8266. В статье описаны особенности подключения датчиков различных типов к бинарным входам контроллера ShIoTiny. Кроме того, имеются ответы на ряд популяр...
Проверка авто по базам ГИБДД по VIN и ГОСНОМЕРУ 10.40 Бесплатные отчеты без ограничений по количеству запросов Данные из официальной базы ГИБДД РФ в режиме онлайн Проверка по всем источникам за один запрос Удобный поиск VIN по ГОСНОМЕРУ Без рекламы Отчет содержит: ✓ общая информация об авто (марка, модель, цвет, ...
Видеоблогеры раскрыли высокую активность американской базы Зона-51 На видеоканале Adventures with Christian появился ряд роликов, показывающих высокую активность на американской базе в Неваде, известной как Зона-51. На них обратило внимание издание The Drive.
Граждан России внесут в единую базу данных Госдума рассмотрит законопроект о единой базе данных граждан в России. Напомним, что до сих пор сведения о гражданах, находящихся на территории России, накапливались разрознено в отраслевых базах данных. Теперь в стране планируется создать единый источник информации и гармон...
Данные российских налогоплательщиков утекли в Сеть? Исследователи обнаружили на серверах Amazon базу персональных данных 20 млн россиян, с указанием ИНН и объемов налоговых выплат. По свидетельству британской аналитической компании Comparitech, эта информация хранилась на сервере Elasticsearch в открытом виде около года. Пров...
Нефтяные компании знали о риске глобального потепления гораздо раньше нас Люди забеспокоились о глобальном потеплении гораздо раньше, чем считалось В последнее время вы могли заметить, что без предупреждения ученых о неизбежности глобального потепления не проходит ни дня. Температура на нашей планете действительно постепенно повышается и у этого я...
9 типовых проблем в сети, которые можно обнаружить с помощью анализа NetFlow (на примере Flowmon) Относительно недавно мы публиковали статью “Сетевой мониторинг и выявления аномальной сетевой активности с помощью решений Flowmon Networks”. Там мы кратко рассмотрели возможности этого продукта и процесс установки. Неожиданно для нас, после статьи и вебинара, поступило бо...
Доступно для загрузки Windows 10 Build 18363.476 Корпорация Майкрософт начала развертывание накопительных обновлений исправлений во вторник для поддерживаемых версий Windows 10. Также доступны прямые ссылки для загрузки автономных установщиков Windows 10 KB4524570.Обновление KB4524570 содержит исправления только для безопа...
419 миллионов записей из базы данных Facebook обнаружены в свободном доступе Данные пользователей Facebook утекли в сеть. Снова Facebook, одну из крупнейших IT-компаний, а по-совместительству владельца одноименной социальной сети, мессенджера WhatsApp, Instagram, Oculus Rift и еще пары-другой проектов рангом пониже продолжают преследовать неприятност...
Дистанционная магистратура за границей: заметки перед диссертацией Пролог Существует несколько статей, например Как я поступил на дистанционное образование в магистратуру Walden (США), Как поступить в магистратуру в Англии или Дистанционное обучение в Stanford University. Все они обладают одним недостатком: авторы делились ранним опытом обу...
На черном рынке оказались данные 5 тысяч клиентов ВТБ В сети в очередной раз утекли данные российских банковских клиентов. На этот раз на черном рынке оказались данные вкладчиков ВТБ. Как сообщают Известия, в базе 5 тысяч строк, а актуальность информации датируется 2019 годом. База содержит персональные данные клиентов, номер ...
[Из песочницы] Комплексный подход к визуализации событий безопасности и измерению её эффективности Привет, Хабр! Представляем вашему вниманию перевод статьи "A Full-Scale Security Visualization Effectiveness Measurement and Presentation Approach". От автора перевода Визуализация оказывает неоценимую помощь экспертам в получении выводов и знаний об объекте исследований,...
Предсказания от математиков. Разбираем основные методы обнаружения аномалий За рубежом все большую популярность набирает использование искусственного интеллекта в промышленности для предиктивного обслуживания (predictive maintenance) различных систем. Цель этой методики — определение неполадок в работе системы на этапе эксплуатации до выхода её из с...
[Из песочницы] Как я ушел из фундаментальной науки в стартап Сегодня ровно шесть месяцев как после двадцати лет в науке я ушел в стартап, разрабатывающий ПО для создания синтетических данных, в котором я занимаюсь интеграцией систем машинного обучения в конечный продукт. Поскольку здесь есть люди, которые еще только решаются на такой ...
5 лайфхаков оптимизации SQL-запросов в Greenplum Любые процессы, связанные с базой, рано или поздно сталкиваются с проблемами производительности запросов к этой базе. Хранилище данных Ростелекома построено на Greenplum, большая часть вычислений (transform) производится sql-запросами, которые запускает (либо генерирует и...
[Из песочницы] Отказоустойчивый DHCP сервер на базе Kea Статья-инструкция по установке и базовой настройке отказоустойчивого сервера Kea DHCP Kea DHCP – это open-source DHCP сервер, разрабатываемый Internet Systems Consortium(ISC) с поддержкой DHCPv4 и DHCPv6. ISC – это те же ребята, которые разрабатывают наши любимые bind и ...
Hello, World! Глубокое погружение в Терминалы На написание данной статьи меня вдохновила статья об анализе Сишного printf. Однако, там был пропущен момент о том, какой путь проходят данные после того, как они попадают в терминальное устройство. В данной статье я хочу исправить этот недочет и проанализировать путь данны...
Дайджест статей машинного обучения и искусственного интеллекта Хабр, привет. Отфильтровав большое количество статей, конференций и подписок — собрал для вас все наиболее значимые гайды, статьи и лайфхаки из мира машинного обучения и искусственного интеллекта. Всем приятного чтения! 1. Проекты искусственного интеллекта, с которыми можн...
Один из методов получения профиля рабочей нагрузки и истории ожиданий в PostgreSQL Продолжение статьи "Попытка создать аналог ASH для PostgreSQL ". В статье будет рассмотрено и показано на конкретных запросах и примерах — какую же полезную информацию можно получить с помощью истории представления pg_stat_activity. Предупреждение. В силу довольно большого ...
В даркнете найдена база украденных кредитных карт стоимостью $130 млн Специализирующаяся на вопросах кибербезопасности компания Group IB обнаружила на черном рынке крупнейшую и одну из самых дорогих баз данных пользователей кредитных карт. Она была выложена на одном из подпольных сайтов 28 октября. База данных под названием INDIA-MIX-NEW-01 со...
Веская причина отдать предпочтение технике Apple Многие пользователи намеренно не пользуются биометрическими датчиками своих смартфонов для авторизации, опасаясь, что таким образом компания-производитель попросту формирует базу данных из их отпечатков или лиц для продажи на сторону. До недавнего времени таким людям можно ...
Масштабная утечка пользовательских данных Facebook и Twitter Как стало известно, злоумышленники использовали бреши в системе безопасности операционной системы Android для доступа к пользовательским данным социальных сетей Facebook и Twitter. Twitter сообщает, что информация о миллионах аккаунтов была получена при помощи мошенниче...
Реальные сроки изучения слепой печати при низкой мотивации В статье я опишу свой сугубо субъективный пример того, сколько времени занимает обучение методу комфортной слепой печати. Это с учётом того, что мне данный навык не был критически важен, но иметь его давно хотелось. Читать дальше →
[Перевод] Параллельные запросы в PostgreSQL В современных ЦП очень много ядер. Годами приложения посылали запросы в базы данных параллельно. Если это отчетный запрос ко множеству строк в таблице, он выполняется быстрее, когда задействует несколько ЦП, и в PostgreSQL это возможно, начиная с версии 9.6. Понадобилось 3 ...
Машинное обучение глубокой нейронной сети с подкреплением на tensorflow.js: Трюки Обучать глубокие нейронные сети с нуля — задача не из простых. Требуется много данных и времени на обучение, но ускорить процесс могут помочь некоторые трюки, о которых я и расскажу под катом. Демонстрация прохождения простого лабиринта с использованием трюков. Длительност...
Как исследователи обнаруживают открытые базы данных MongoDB и Elasticsearch Какое-то время назад среди исследователей безопасности было очень «модно» находить неправильно сконфигурированные облачные хранилища AWS с разного рода конфиденциальной информацией. Я тогда даже опубликовал небольшую заметку про то, как обнаруживают открытые облачные хранили...
Пароли почти 3500 тысячи пользователей Coinbase хранились в виде открытого текста Ведущая криптовалютная платформа Coinbase сообщила о потенциальной уязвимости, в результате которой личная информация 3420 пользователей, включая пароли, хранилась в виде открытого текста во внутреннем журнале сервера. Как утверждает биржа, несанкционированный доступ к этим ...
Китайцы показали смартфон недорогой смартфон Honor 20 SE с тройной 48-мегапиксельной камерой В базе данных китайского центра по сертификации телекоммуникационного оборудования TENAA был замечен новый смартфон под брендом Honor. По данным уже хорошо себя зарекомендовавшего сетевого информатора RODENT950, модель под номером LRA-AL00 на самом деле представл...
Тематический номер ВАК издания! Добрый день, уважаемые читатели! В последнее время все больше и больше идет разговоров о популяризации 3D-печати в медицине. Мы решили не отставать от трендов и вместе с редакцией журнала "Нейрохирургия и неврология детского возраста" готовим выпуск тематического номера, пос...
Керамическая посуда рассказала, что ели средневековые крестьяне Исторические книги полны интересными фактами о жизни известных людей — о них порой известно так много, что среди этой информации можно найти даже список их любимых блюд. В то же время об обычных людях известно крайне мало, но исследователи из Бристольского университета запо...
Как реализуется Retentioneering в App in the Air Удержать пользователя в мобильном приложении – это целая наука. Ее основы в нашей статье на VC.ru описал автор курса Growth Hacking: аналитика мобильного приложения Максим Годзи, руководитель подразделения Машинного обучения в App in the Air. Максим рассказывает о разработ...
[Перевод] Введение в Redis с использованием Spring Boot Перевод статьи подготовлен специально для студентов курса «Разработчик на Spring Framework». В этой статье мы рассмотрим основы использования Redis через Spring Boot с помощью библиотеки Spring Data Redis. Мы создадим приложение, которое демонстрирует, как выполнять CR...
Что такое «жидкий» жесткий диск и как он работает? Совсем недавно мы рассказывали вам о том, что ученые приближаются к созданию молекулярного компьютера. Однако это не единственный способ «использовать» молекулы при создании различных видов электронных устройств. К примеру, группа исследователей из Брауновского ун...
В списке целей ботнета GoldBrute более 1,5 млн хостов Ботнет GoldBrute атакует хосты с открытым RDP-доступом и угрожает более чем 1,5 млн устройств. К такому выводу пришли ИБ-специалисты, которым удалось изучить код вредоносной программы и результаты сканирования потенциально уязвимых портов, а также список логинов и паролей дл...
Пароли к двум миллионам WiFi-сетей оказались доступны онлайн Эксперты обнаружили в открытом доступе базу с данными более 2 млн роутеров. Сведения включали имена сетей, пароли и информацию о местоположении. Открытая база данных принадлежит сервису WiFi Finder и содержит сведения владельцев Android-устройств. В Google Play приложение ра...
Аккаунт [email protected] обнаружен в тысячах баз данных MongoDB Голландский исследователь безопасности Victor Gevers заявил, что он обнаружил руку Кремля административную учетную запись [email protected] в более чем 2000 открытых базах данных MongoDB, принадлежащих российским и даже украинским организациям. Читать дальше →
Trend Micro: как машинное обучение может помочь в обнаружении сетевых угроз Компания Trend Micro Incorporated провела исследование, целью которого было выявить новые сферы применения машинного …
Rekko Challenge Сегодня мы запускаем Rekko Challenge 2019 — соревнование по машинному обучению от онлайн-кинотеатра Okko. Мы предлагаем вам построить рекомендательную систему на реальных данных одного из крупнейших российских онлайн-кинотеатров. Уверены, что эта задача будет интересна и но...
[Перевод] Инструментарий для рефакторинга баз данных: Flyway vs. Liquibase В этой статье мы поговорим о Flyway и Liquibase — двух наиболее популярных инструментах на основе Java для рефакторинга баз данных. Цель статьи — сравнить эти инструменты и выяснить, какой из них в каких случаях лучше применять. Читать дальше →
Рост. Вес. Три соседа В поиске интересного и простого ДатаСета я набрёл этого красавца. Об этом красавце В нём есть данные о росте и весе 10 000 мужчин и женщин. Никакого описания. Ничего «лишнего». Только рост, вес и метка пола. Эта таинственная простота мне понравилась. Что ж, начнём! Что мне ...
Размышления про идеальный корпус Здравствуйте. На написание этой статьи меня побудил наметившийся апгрейд домашней системы и недавняя статья Настольный. Металлический. Бесшумный. Твой?. Что-бы найти приемлемый вариант мне пришлось перелопатить кучу моделей корпусов и сейчас я хочу поделиться своей болью с в...
Сервис обучения с помощью VR-технологий MEL Science привлёк $6 млн от TMT Investments, «Яндекса», Sistema VC и других Стартап предлагает наборы для химических опытов по подписке. Большая часть продаж приходится на США.
Построение отказоустойчивого решения на базе Oracle RAC и архитектуры AccelStor Shared-Nothing Немалое число Enterprise приложений и систем виртуализации имеют собственные механизмы для построения отказоустойчивых решений. В частности, Oracle RAC (Oracle Real Application Cluster) представляет собой кластер из двух или более серверов баз данных Oracle, работающих совме...
[Перевод] Асинхронный PHP. Зачем? Асинхронное программирование сегодня востребовано, особенно в веб-разработке, где отзывчивость приложения особенно важна. Никому не хочется ждать, пока приложение «отвиснет», пусть даже в это время оно выполняет запрос к базе данных, отправляет электронное письмо или работ...
Безопасность алгоритмов машинного обучения. Атаки с использованием Python Машинное обучение активно применяется во многих областях нашей жизни. Алгоритмы помогают распознавать знаки дорожного движения, фильтровать спам, распознавать лица наших друзей на facebook, даже помогают торговать на фондовых биржах. Алгоритм принимает важные решения, поэто...
Типичные ошибки при работе с PostgreSQL Чуть более месяца назад в Москве состоялась крупнейшая конференция постгресового сообщества PGConf.Russia 2019, собравшая в МГУ свыше 700 человек. Мы решили выложить видео и расшифровку лучших докладов. Выступление Ивана Фролкова с разбором типичных ошибок при работе с Postg...
Визуализация новостей рунета Представьте себе, что вы поспорили с друганом, что было раньше — курица или яйцо повышение какого-то налога, к примеру, или новости на эту тему, или вовсе важное событие заглушили тучей новостей про новую песню, скажем, Киркорова. Удобно было бы посчитать, сколько новостей...
Методология CI/CD поможет превратить данные в коммерческий ресурс О том, как непрерывная интеграция/развертывание ПО позволяет задействовать сложные модели машинного обучения …
[Из песочницы] Визуализация времени возрождения Рошана В данной статье рассматривается перехват функций графического API на примере DirectX 9 под x64 применительно к игре Dota 2. Будет подробно рассказано, как внедриться в процесс игры, как изменить поток выполнения, приведено краткое описание внедряемой логики. В конце поговор...
Алгоритм машинного обучения будет рекомендовать новые игры в Steam В результате поиск интересных игр должен стать проще прежнего.
Как полиция использует вашу геолокацию для раскрытия преступлений В совокупности данные о вашем местоположении могут быть очень полезны для многих функций вашего смартфона. Например, собранные геоданные Google использует для отображения подходящих каждому конкретному пользователю рекомендаций и рекламы. Новый материал издания «The New Yor...
[Из песочницы] UICollectionView всему голова: Изменение представления на лету Привет, Хабр! Представляю вашему вниманию перевод статьи "UICollectionView Tutorial: Changing presentation on the fly". В данной статье мы рассмотрим использование различный способов отображение элементов, а также их переиспользование и динамическое изменение. Зде...
Computer Vision Summer Сamp – летняя школа Intel по компьютерному зрению С 3 по 16 июля на базе ННГУ им. Н.И. Лобачевского проходила Межвузовская Летняя школа Intel по компьютерному зрению — Computer Vision Summer Camp, в которой приняло участие более 100 студентов. Школа была направлена на студентов технических специальностей нижегородских вуз...
Кишечная палочка на диете из СО2: новый инструмент в борьбе с глобальным потеплением? Любая система, какой бы сложной и многослойной она ни была, имеет свой фундамент — основу, без которой она бы не работала так, как работает. В биосфере нашей планеты также имеются базисные кирпичики, на которых все и держится. Ими являются автотрофы — организмы, способные ...
[Перевод] Применение автоматического машинного обучения к нейросетям с архитектурой «трансформер» Из блога Google AI С момента обнародования информации о них в 2017 году, нейросети архитектуры типа "трансформер" применялись к задачам различного толка, от генерирования текстов в стиле фэнтези до написания музыкальных гармоний. Что важно, высокое качество работы «трансфор...
Что такое прокси-сервер и как его настроить на iPhone и iPad Как ни странно даже сегодня, во времена постепенно внедряемой системы запретов и цензуры в интернете, не каждый знает о том, что такое «прокси». Данная статья призвана восполнить пробелы в знаниях несведущих в подобных вопросах пользователей. Что такое прокси-сервер? ...
Выявляем процессы с дисковой активностью в Linux TL;DR: статья рассказывает об удобном, быстром и надежном способе определения Linux-программ, записывающих данные на диск, что помогает в выявлении большой или аномально частой нагрузки на дисковую подсистему, а также позволяет оценить накладные расходы файловой системы. Это...
HPE представила ПО для внедрения в компаниях машинного обучения Новое контейнерное решение представляет собой процесс для стандартизации рабочих процессов машинного обучения и ускорения развертывания систем искусственного интеллекта.
Совершенствование алгоритмов ИИ приведет к революции в протезировании Обучение искусственного интеллекта с использованием метода проб и ошибок, когда компьютеру «скармливаются» записи огромного количества уже отыгранных партий, на основе которых он оттачивает свое мастерство, доказало, что машина способна превзойти человека в таких классическ...
Бесплатный VPN сервис Wireguard на AWS Для чего? С ростом цензурирования интернета авторитарными режимами, блокируются все большее количество полезных интернет ресурсов и сайтов. В том числе с технической информацией. Таким образом, становиться невозможно полноценно пользоваться интернетом и нарушается фундамента...
Яндекс для iOS подскажет, кто звонит Когда звонят с незнакомого номера, определитель обращается к базе Яндекс.Справочника - там собрано около шести миллионов организаций. Если в Справочнике есть компания с таким номером, на экране появится её название. Если номера в базе нет, Яндекс попробует распознать цель зв...
[Перевод] Машинно-синестетический подход к обнаружению сетевых DDoS-атак. Часть 2 И снова здравствуйте. Сегодня мы продолжаем делиться материалом, приуроченным к запуску курса «Сетевой инженер», который стартует уже в начале марта. Мы видим, что многих заинтересовала первая часть статьи «Машинно-синестетический подход к обнаружению сетевых DDoS-атак» и се...
Как я познакомился с OpenCV или в поисках ColorChecker Я учусь в CS центре в Новосибирске уже второй год. До поступления у меня уже была работа в IT — я работал аналитиком в Яндексе, но мне хотелось развиваться дальше, узнать что-то за пределами текущих задач и, по совету коллеги, я поступил в CS центр. В этой статье я хочу расс...
Как подружить Progress OpenEdge и СУБД Oracle С 1999 года для обслуживания бэк-офиса в нашем банке используется интегрированная банковская система БИСКВИТ на платформе Progress OpenEdge, которая достаточно широко используется во всем мире, в том числе и в финансовом секторе. Производительность данной СУБД позволяет чита...
[Перевод] Кеширование в Laravel: основы плюс tips&tricks Техника кеширования позволяет создавать более масштабируемые приложения, запоминания результаты некоторых запросов в быстрое in-memory хранилище. Однако, некорректно реализованное кеширование может сильно ухудшить впечатление пользователя о вашем приложении. Эта статья содер...
[Перевод] Предсказание наводнений в Google: взгляд изнутри Несколько лет назад мы решили, что предсказание наводнений даёт уникальную возможность улучшить жизни людей, и начали смотреть, как инфраструктура и опыт в машинном обучении компании Google может помочь в этой области. В прошлом году мы начали наш пилотный проект по предск...
Security Week 47: нетривиальные уязвимости В прошлом году у нас уже был дайджест про нетривиальные атаки. Тогда речь шла про DoS-атаку на ПК через акустическое воздействие на жесткий диск и кражу пользовательских данных через хак со стилями CSS. А на прошлой неделе как раз было опубликовано два исследования про уязви...
ObjectRepository — .NET in-memory repository pattern для ваших домашних проектов Зачем хранить все данные в памяти? Для хранения данных сайта или бекэнда первым желанием большинства здравомыслящих людей выберет SQL базу данных. Но иногда в голову приходит мысль что модель данных не подходит для SQL: например, при построении поиска или социального графа ...
[Из песочницы] Упрощаем работу с базами данных в Qt с помощью QSqlRelationalTableModel Доброго времени суток, Хабровчане! В этой статье я хочу рассказать о своем опыте упрощения взаимодействия с базами данных SQL при разработке десктопного приложения с помощью класса QSqlRelationalTableModel кроссплатформенной библиотеки Qt. Пролог С Qt я познакомился еще буд...
Пол игрока можно узнать по его поведению Видеоигры давно и прочно вошли в современную жизнь: с каждым днем растёт количество онлайн и оффлайн продуктов для различных платформ. Их пользователи с каждым днем генерируют всё больше данных, которые можно использовать для разработки моделей игрового поведения или определ...
Алгоритм машинного обучения превращает котиков в монстров На прошлой неделе внимание общественности привлек необычный сайт ThisPersonDoesNotExist.com, где можно увидеть, как искусственный интеллект всякий раз генерирует новое (и весьма странное) человеческое лицо. У этого портала сразу появилось множество подражателей, и наконец ис...
Вия, Уая, Вая, Вайя – “трудности перевода”, или что скрывается за новой платформой SAS Viya (Вайя) В сети можно найти огромное количество разнообразных статей о методах использования алгоритмов математической статистики, о нейронных сетях и в целом о пользе машинного обучения. Данные направления способствуют существенному улучшению жизни человека и светлому будущем...
Microsoft SQL Server 2019 и флэш-массивы Dell EMC Unity XT Сегодня мы познакомим вас с особенностями использования SQL Server 2019 с системой хранения Unity XT, а также дадим рекомендации по виртуализации SQL Server с помощью технологии VMware, по настройке и управлению базовыми компонентами инфраструктуры Dell EMC. В 2017 году De...
Кишечная бактерия может показать ваш истинный возраст Бактерии, обитающие в кишечнике человека, могут рассказать о его возрасте Кишечник абсолютно любого человека в мире можно назвать настоящим домом для огромного количества микроорганизмов, принимающих активное участие в обеспечении нормальной жизнедеятельности человеческого т...
Новая сборка Microsoft Edge Dev принесла функцию «Коллекции» Компания Microsoft выпустила новую сборку Microsoft Edge на базе Chromium под номером 78.0.256.2 для канала Dev, которая принесла с собой функцию «Коллекции», поддержку системного меню «Поделиться» в Windows 10, а также включает в себя большое количество исправлений и улучш...
Java Native Image: проверка возможности использования Не так давно Oracle выпустил первый релиз проекта GraalVM (https://www.graalvm.org/). Релизу был сразу присвоен номер 19.0.0, видимо, для того чтобы убедить, что проект зрелый и готов к использованию в серьезных приложениях. Одна из частей этого проекта: Substrate VM — фре...
[Из песочницы] Sourcery для автоматического конвертирования в структуры объектов Realm В интернете, да и даже на Хабре, есть куча статей о том, как работать с Realm. Эта база данных достаточно удобная и требует минимальных усилий для написания кода, если ей уметь пользоваться. В этой статье будет описан метод работы, к которому пришел я. Читать дальше →
Яндекс открывает датасеты Толоки для исследователей Толока — крупнейший источник размеченных людьми данных для задач машинного обучения. Каждый день в Толоке десятки тысяч исполнителей производят более 5 миллионов оценок. Для любых исследований и экспериментов, связанных с машинным обучением, необходимы большие объёмы качеств...
ДНК не актуальна: учёные представили цифровой молекулярный носитель с увеличенной плотностью Группа учёных их Университета Брауна в штате Род-Айленд доказала на опыте новую возможность записывать данные на молекулярные носители. До сих пор все эксперименты по хранению цифровых данных на молекулярном уровне в основном опирались на работу с ДНК. Молекулы ДНК природой ...
[Из песочницы] Перспектива: MultiClet S1 Итак, пришло время поговорить о следующем поколении мультиклеточных процессоров: MultiClet S1. Если вы впервые слышите о них, то обязательно ознакомьтесь с историей и идеологией архитектуры в этих статьях: «Мультиклеточный процессор — это что?» «Мультиклет R1 — первые те...
Яндекс и РЭШ открыли совместную программу дополнительного образования Школа анализа данных (ШАД) и Российская экономическая школа (РЭШ) открыли совместную программу дополнительного образования «Экономика и анализ данных». Она предназначена для тех, кто хочет решать задачи на стыке экономики и анализа данных. Программа обучения двухгодична...
Apple хочет продать 80 млн iPhone 5G за три месяца Согласно информации Nikkei Asian Review, компания Apple уже делает установку поставщикам комплектующих для смартфонов iPhone на следующий год, причем речь идет о моделях с поддержкой сетей пятого поколения. Источники утверждают, что компания Apple настроена на то, чтобы...
Знакомство со статическим анализатором PVS-Studio для Java На протяжении многих лет команда PVS-Studio развивает одноименный статический анализатор. На данный момент анализатор представляет собой сложное программное решение и предоставляет возможность анализа таких языков программирования, как C, C++, C# и Java на платформах Windows...
Дайджест новостей машинного обучения и искусственного интеллекта за октябрь Привет, Хабр! Отфильтровав для вас большое количество источников и подписок, собрал все наиболее значимые новости из мира машинного обучения и искусственного интеллекта за октябрь. Не забудьте поделиться с коллегами или просто с теми, кому интересны такие новости. Для тех, ...
Сравнение архитектур Viper и MVVM: Как применить ту и другую В настоящее время VIPER и MVVM являются наиболее популярными архитектурными решениями, применяемыми при разработке крупных приложений, требующих участия в разработке больших команд, являющихся хорошо тестируемыми, длительно проддерживаемыми и постоянно развивающимися. В да...
Исследование НАФИ и Mains Group: только треть российских компаний использует машинное обучение Автоматизация бизнес-процессов получила широкое распространение в крупном бизнесе (80%), и в будущем уровень автоматизации продолжит расти. При этом технологии машинного обучения сейчас используются только на трети предприятий (33%). Машинное обучение ...
Инвентаризация от И до Я. Считаем ИТ-активы На этом скриншоте результат работы Quest KACE относительно компьютера бухгалтера одной из российских компаний. Выяснилось, что часть ПО установлена, но не используется. Здесь приведены цены, по которым это ПО закупалось. В вашем случае цена на ПО может отличаться, здесь ва...
[Перевод] Один язык чтобы править всеми Скрытый под слоем кода, томится язык, жаждущий быть выученным. На момент написания этой статьи запрос «программирование какой язык изучать первым» выдаёт 517 миллионов поисковых результатов. Каждый из этих сайтов будет нахваливать один определённый язык, и 90% из них, в кон...
Параллельное обновление данных в ASP.NET Web API Хочу рассказать, как мы организовали фоновое обновление данных во время запроса к REST-сервису. Задача следующая: система хранит данные о пользователях. Cервис работает изолированно и не имеет прямого доступа к базам с этими данными. Для работы сервису необходимо иметь в св...
Huawei: Защита плоскости управления В статье рассматриваются аспекты защиты плоскости управления маршрутизаторов Huawei NE Series. Примеры приведены для NE40e, с программным обеспечением: VRP V800R008. На других типах маршрутизаторов (например NE5k) и с другой версией ПО, конфигурация может несколько отличатьс...
Обучение Data Science внутри компании и тематический митап в Воронеже 25 мая в Воронеже пройдет вторая встреча Metaconf, на этот раз посвященная машинному обучению. В программе митапа — пять докладов, бесплатная регистрация доступна здесь. В частности, Антон Долгих, эксперт DataArt по AI-проектам в области здравоохранения, будет говорить о «...
Как зарождалась жизнь: органика, рожденная в огне звезд Если принять гипотезу о том, что жизнь на Земле произошла из густого первичного бульона, приправленного органикой из космоса, то возникает справедливый вопрос: какие молекулы возникли первыми и почему именно они дали рождение такому уникальному явлению? Благодаря новому эксп...
Математики придумали задачу, которую искусственный интеллект не способен решить принципиально Международная группа исследователей систем машинного обучения и искусственного интеллекта пришла к неутешительному выводу – они более ограничены, чем мы полагали. Это проистекает из математической природы их архитектуры и методов работы. Согласно «Теореме о неполноте» Геделя...
Чемпионат по программированию: разбираем задачи для фронтенд-разработчиков На днях победители чемпионата по программированию, который завершился в начале лета, получили заслуженные призы. Для этого мы позвали их, а также всех остальных финалистов из топ-20 каждого направления в московский офис Яндекса. Ещё раз поздравляем тех, кто сумел выйти в фи...
Сотрудник Amazon сделал дверцу на ИИ для кота, чтобы тот не нёс добычу в дом Машинное обучение может стать существенным дополнением к арсеналу любого изобретателя-умельца, помогая решать небольшие проблемы, с которыми не может справиться ни один коммерческий гаджет. Для инженера компании Amazon Бена Хэмма (Ben Hamm) эта проблема заключалась в том, чт...
[Перевод] Grasp2Vec: обучение представлению объектов через захват с самостоятельным обучением Люди с удивительно раннего возраста уже способны распознавать свои любимые объекты и поднимать их, несмотря на то, что их специально этому не учат. Согласно исследованиям развития когнитивных способностей, возможность взаимодействия с объектами окружающего мира играет крит...
Базы данных на HighLoad++ 2019 Работа с базой данных — это то, что заметно отражается на производительности любого веб-сервиса. Если постараться, то можно устроить хайлоад вообще без всякой нагрузки. А если все сделать по уму, то получится обрабатывать запросы многих тысяч пользователей. Поэтому в распи...
STL интерфейс Berkeley DB Привет, Хабр. Не так давно для одного моего проекта понадобилась встраиваемая база данных, которая бы хранила элементы в виде ключ-значение, обеспечивала поддержку транзакций, и, опционально, шифровала данные. После непродолжительных поисков, я наткнулся на проект Berkeley D...
Загрязнение воздуха — причина роста преступности Насильственные преступления, возможно, являются следствием загрязнения воздуха Вдыхание грязного воздуха может вызвать у вас тошноту. Но, согласно новым исследованиям, это также может сделать вас более агрессивным. К такому выводу пришли ученые из университета Колорадо. Кома...
[Перевод] Как мы подняли производительность Tensorflow Serving на 70% Tensorflow стал стандартной платформой для машинного обучения (ML), популярной как в индустрии, так и в научных исследованиях. Создано множество свободных библиотек, инструментов и фреймворков для обучения и обслуживания моделей ML. Проект Tensorflow Serving помогает обслужи...
Сервис Amazon Rekognition научился распознавать страх на лицах людей Компания Amazon утверждает, что её сервис Rekognition на базе технологии глубокого обучения научился определять выражение страха на лицах людей. Это восьмой тип эмоций, подвластный системе, наряду со счастьем, печалью, гневом, удивлением, отвращением, спокойствием и замешате...
Зомби-проекты – сливают данные пользователей даже после своей смерти Я снова про утечки персональных данных, но на этот раз расскажу немного про загробный мир ИТ-проектов на примере двух недавних находок. В процессе аудита безопасности баз данных часто бывает, что обнаруживаешь сервера (как искать базы данных, я писал в блоге), принадлежащи...
[Перевод] Интерпретируемая модель машинного обучения. Часть 2 Всем привет. Считанные дни остаются до старта курса «Machine Learning». В преддверии начала занятий мы подготовили полезный перевод, который будет интересен как нашим студентам, так и всем читателям блога. И сегодня делимся с вами завершающей частью данного перевода. Par...
[Перевод] Простое объяснение алгоритмов поиска пути и A* Часть 1. Общий алгоритм поиска Введение Поиск пути — это одна из тех тем, которые обычно представляют самые большие сложности для разработчиков игр. Особенно плохо люди понимают алгоритм A*, и многим кажется, что это какая-то непостижимая магия. Цель данной статьи — объясн...
Известна стоимость бюджетного Redmi 8A Недавно подтвердилась информация, что анонс смартфона Redmi 8A состоится 25 сентября. Новинка уже появилась в базе данных TENAA, где есть полный список её технических характеристик. А сегодня, незадолго до анонса, стала известна стоимость бюджетного Redmi 8A. Подробнее об эт...
Обнаружен способ химической диагностики аутизма Ученые из Центра нейробиологии и нейрореабилитации Сколтеха, Школы медицины Икана Медицинского центра Маунт-Синай (Нью-Йорк, США) и Институтов Макса Планка в Потсдаме и Кельне (Германия) изучили обменные процессы в префронтальной коре головного мозга человека. С помощью мето...
DEV Labs 2019. Python для решения нетривиальных задач. Онлайн-митап Уважаемые коллеги! Приглашаем принять участие в онлайн-митапе серии DEV Labs, который пройдёт 20 марта и будет посвящён языку Python. Расскажем о применении Python в сфере проектирования систем «умного дома» и рассмотрим примеры решения задач по распознаванию человеческих д...
Raspberry Pi + CentOS = Wi-Fi Hotspot (или малиновый роутер в красной шляпе) В Интернете огромное количество информации по созданию Wi-Fi точек доступа на базе одноплатного ПК Raspberry. Как правило, подразумевается использование родной для «малинки» операционной системы — Raspbian. Являясь адептом RPM-based систем, я не мог пройти мимо этого малень...
Алгоритм мышления и сознания, часть 2 Данный текст содержит пояснения к алгоритму из моей первой статьи “Алгоритм мышления и сознания”. Тезисы первой статьи: Феномен субъективного мышления можно алгоритмизовать. Предъявленный в статье алгоритм мыслит и этим можно воспользоваться практически. С помощью алгорит...
[Перевод] Обучение с подкреплением на языке Python Привет, коллеги! В последней публикации уходящего года мы хотели упомянуть о Reinforcement Learning — теме, книгу на которую мы уже переводим. Посудите сами: нашлась элементарная статья с Medium, в которой изложен контекст проблемы, описан простейший алгоритм с реализаци...
В Интернет попали 419 миллионов телефонных номеров пользователей Facebook Сервер с информацией не был защищен паролем, и любой желающий мог получить доступ к базе данных.
В IDC ожидают, что объем хранилищ данных к 2023 году более чем удвоится Аналитическая компания IDC подготовила свой первой прогноз под названием Global StorageSphere, относящийся к хранилищам данных, установленным во всем мире. По прогнозу аналитиков, объем этих хранилищ более чем удвоится в прогнозируемый период с 2018 по 2023 год. Если эт...
[Из песочницы] Анализ эмоциональной окраски отзывов с Кинопоиска Вступление Обработка естественного языка (NLP) является популярной и важной областью машинного обучения. В данном хабре я опишу свой первый проект, связанный с анализом эмоциональной окраски кино отзывов, написанный на Python. Задача сентиментного анализа является довольно р...
NoVerify: линтер для PHP от Команды ВКонтакте теперь в открытом доступе Расскажу, как нам удалось написать линтер, который получился достаточно быстрым, чтобы проверять изменения во время каждого git push и делать это за 5−10 секунд при кодовой базе в 5 миллионов строк на PHP. Мы назвали его NoVerify. NoVerify поддерживает базовые вещи вроде ...
И все же завтра обещают дебют Xiaomi Redmi Note 7 Завтра Redmi получит путевку в жизнь как самостоятельный бренд, и его первенец отправится покорять сердца пользователей. По слухам, компания взялась за переосмысление того, каким должен быть современный доступный смартфон, а свое видение представит в виде Redmi Note 7. ...
[Перевод] WolframClientForPython | Новая клиентская библиотека Wolfram Language для Python Оригинал перевода в моём блоге Получение полного доступа к языку Wolfram Language из языка Python Язык Wolfram (Wolfram Language) дает программистам в руки уникальный язык с огромным множеством сложных алгоритмов, а также встроенных знаний об окружающем мире. На протяжении...
«ВКонтакте» требует изъять из оборота базу данных трети своих пользователей База содержит данные более чем трети пользователей «ВКонтакте».
Разработка команды запроса данных из базы В настоящий момент занимаюсь реализацией взаимодействия с поставщиком KYC услуг. Как обычно ничего космического. Нужно просто выбрать из своей базы данных некий достаточно объемный комплект экземпляров различных записей, выгрузить их поставщику услуг и попросить поставщика з...
[Из песочницы] Прибыльность сайтов и сервисов Эта статья будет полезна всем, кто хочет сделать собственный бизнес на веб-сайтах и сервисах. Здесь приведены примеры прибыльности и средней посещаемости сайтов через год работы. Основная цель статьи — дать приблизительное представление о сложности развития проектов для тех,...
Google во Франции оштрафовали на €50 млн по GDPR за неправильное использование персональных данных 21 января 2019 года Национальная комиссия по делам информационных технологий и правам человека (CNIL) Франции оштрафовала Google на €50 млн за «отсутствие прозрачности, неудовлетворительное информирование и отсутствие действительного согласия» при обработке и использовании п...
[Перевод] Что я узнал о машинном обучении, поработав в 12 стартапах Всем привет. Поработав в 12 стартапах в сфере машинного обучения, я сделал восемь полезных выводов о продуктах, данных и людях. Все стартапы были из разных сфер (финтех, биотехнологии, здравоохранение, технологии обучения) и на разных этапах: и на этапе pre-seed, и на этап...
Использование DbTool для засеивания (seeding) баз данных в приложениях .NET (Core) Представляем вашему вниманию DbTool — утилиту командной строки для экспорта данных БД в различные форматы и open-source библиотеку Korzh.DbUtils, использование которых может значительно упростить первоначальное "засевание" базы данных в вашем .NET (Core) приложении. С помощь...
Машинное обучение помогает находить ошибки в Firefox Инструментарий Clever-Commit умеет находить плохой код
Улучшение надежности и результатов техобслуживания при помощи машинного обучения Профилактика сбоев с принятием верных решений, основанных на производственных данных …
Данные 49 млн Instagram-аккаунтов знаменитостей попали в открытый доступ В выложенной в открытый доступ базе данных оказались фотографии владельцев аккаунтов, их номера телефонов, электронные адреса и данные о маркетинговой ценности учетных записей.
WISE-PaaS — облачная платформа для промышленного интернета вещей WISE-PaaS — (Platform as a Service) облачная платформа Advantech для промышленного интернета вещей, объединяющая в себе различные инструменты для сбора, обработки, и визуализации данных, автоматизации, управления устройствами и системами искусственного интеллекта и машинно...
Поточная конвертация баз Firebird 2.5 в формат ODS12 (Firebird 3.0) У каждой версии Firebird есть собственная версия формата дисковых структур базы данных – O(n)D(isk)S(tructure). До версии 2.5 включительно, движок Firebird мог работать с ODS предыдущих версий, то есть базы от старых версий открывались новой версией и работали в режиме совме...
Прогнозирование результатов футбольных матчей Модель машинного обучения на Python c использованием библиотеки Scikit-learn, для прогнозирования результатов футбольных матчей Российской Премьер Лиги (РПЛ). Читать дальше →
ShIoTiny и окружающий мир: аналоговые датчики или АЦП для самых маленьких Основные тезисы или о чем эта статья Продолжение серии статей о ShIoTiny — визуально программируемом контроллере на базе чипа ESP8266. Ключевой особенностью данного контроллера является возможность его программирования путем рисования программы в браузере. В данной статье о...
Вулканический поросенок, или SQL своими руками Сбор, хранение, преобразование и презентация данных — основные задачи, стоящие перед инженерами данных (англ. data engineer). Отдел Business Intelligence Badoo в сутки принимает и обрабатывает больше 20 млрд событий, отправляемых с пользовательских устройств, или 2 Тб входя...
Google вывел из беты поисковую функцию Top Places List Google вывел из беты функцию Top Places List, с помощью которой поисковик показывает списки лучших мест по релевантным запросам пользователей. В работе этой функции используется машинное обучение. Например, если пользователь вводит запрос [The RedFarm restaurant NYC] на моби...
Машинное зрение vs интуиция человека: алгоритмы нарушения работы программ распознавания объектов Логика машин безупречна, они не совершают ошибок, если их алгоритм работает исправно и заданные параметры соответствуют необходимым стандартам. Попросите машину выбрать маршрут от точки А в точку Б, и она построит самый оптимальный, учитывая расстояние, расход топлива, нал...
[Перевод] Один гигантский шаг для машины, играющей в шахматы Невероятный успех AlphaZero, алгоритма с глубинным обучением, провозглашает новую эру мышления, которая может оказаться недолгой для человека В начале декабря исследователи из компании DeepMind, занимающейся искусственным интеллектом и принадлежащей Alphabet Inc., родитель...
Контактные данные звёзд Instagram оказались в открытом доступе Эксперт по кибербезопасности Анураг Сен (Anurag Sen) сообщил о том, что обнаружил базу данных с контактами более 49 миллионов известных Instagram-блогеров в открытом доступе. Она хранилась в облачной платформе Amazon Web Services.
ФБР уличили в незаконном использовании данных, собранных программами массовой слежки Благодаря этому стало известно, что в 2018 году суд FISA уличил ФБР США в незаконном использовании секретной базы данных Агентства национальной безопасности. Речь идет о базе, созданной с помощью программ массовой слежки за электронными коммуникациями Prism и Upstream...
Патент на 3D-печать аэрокосмической ракеты Американский автономный ракетный завод получил патент на технологию машинного обучения 3D-печати металлом. Для реализации данного проекта в исполнительную команду были приглашены три известных фигуры аэрокосмической промышленности. Наработки Relativity Калифорнийский автоно...
Абстрактный постер сделал человека невидимым для машинного зрения Распознавание образов в реальном времени — перспективная технология, которая уже находит применение в охранных комплексах и системах поиска конкретных людей в толпе. Для выполнения этой задачи используются сверточные нейронные сети, которые способны с высокой скоростью ...
ShIoTiny: вентиляция влажного помещения (проект-пример) Основные тезисы или о чем эта статья Продолжаем цикл статей о ShIoTiny — визуально программируемом контроллере на базе чипа ESP8266. В этот статье рассказано на примере проекта управления вентиляции в ванной комнате или другом помещении с повышенной влажностью о том, как ...
[Перевод] Простейший JSON RESTful API на Эликсир Как реализовать на Эликсир JSON API endpoint без каких либо фреймворков? От переводчика: В статье приведён пример очень простого веб-приложения, которое можно рассматривать как Hello, World! в создании простейшего API на Эликсире. Код примера незначительно изменён для того, ...
Как начать работать с обучением нейросетей Без машинного обучения не сможет работать ни одна нейросеть Еще несколько лет назад нейросети считались чем-то диковинным. Сейчас же данный инструмент осваивает все больше людей. Причем эта отрасль развивается невероятными темпами: совсем недавно нейросети учились рисовать к...
Заканчивается регистрация на хакатон в Риге. Приз – краткосрочное обучение на Физтехе 15-16 ноября 2019 года на базе Латвийского университета (г. Рига) пройдет международный бизнес-хакатон Baltic Sea Digital Event. Хакатон ориентирован на использование следующих технологий: системы распределенного реестра, большие данные, беспроводная связь, промышленный ин...
[Перевод] Service mesh для микросервисов. Часть II, основы работы с Istio Перевод статьи подготовлен специально для студентов курса «Инфраструктурная платформа на основе Kubernetes». Настройка базового микросервиса в Kubernetes обманчиво проста. В одной из последних статей мы рассказали, как легко начать работать с контейнерами. Мы скомпоновали п...
[Перевод] Картриджи консолей как модемы Многие современные игроки в видеоигры воспринимают онлайн-соединения как нечто само собой разумеющееся — и правда, онлайн-сервисы являются стандартной функцией консолей уже почти пятнадцать лет1. Однако ещё до того, когда проникновение Интернета стало повсеместным, существо...
[Из песочницы] Выбор между XML и SQL для накатывания скриптов LiquiBase на примере Java/Spring/H2 В процессе работы над очередным проектом в команде возникли споры по поводу использования формата XML или SQL в Liquibase. Естественно про Liquibase уже написано много статей, но как всегда хочется добавить свои наблюдения. В статье будет представлен маленький туториал по со...
[Из песочницы] Довериться Кодду или своим объектам? Хранимые объекты без головной боли: простой пример работы с объектами Caché на языках ObjectScript и Python Замок Нойшванштайн В июне 2020 года ровно 50 лет табличным хранилищам данных или говоря формально — реляционной модели данных. Вот официальный документ – та самая зн...
[Из песочницы] Знакомство с простейшей нейронной сетью и ее пошаговая реализация Как-то раз я наткнулся на книгу под названием «Создай свою нейросеть», автор которой -Тарик Рашид и после прочтения остался доволен, в отличие от многих других методичек по нейронным сетям, которые по-своему, несомненно, хороши, в этой книге все подавалось простым языком c д...
В Украине представили систему Embedded Starter Kit для обучения студентов проектированию роботов и умных устройств В Украине представили первую систему для обучения студентов проектированию роботов и других умных вещей Embedded Starter Kit. Презентация прошла во время открытия исследовательской embedded-лаборатории GlobalLogic на базе Национального университета «Львовская политехника». П...
Мы все работаем на Google! Или для чего нужна капча? Капча стала неотъемлемой частью нашей жизни. Если вы с ней не сталкивались, вы или счастливчик, или вас просто не существует. Маленькие картинки, на которых надо отметить машины, велосипеды, светофоры и так далее, встречаются всегда и везде. Особенно часто грешит этим Googl...
Использование базы данных лога Mikrotik для пресечения брутфорса Добрый день. В предыдущей публикации я рассказывал как, легко и непринужденно, можно настроить сбор метаданных сетевого трафика на маршрутизаторах Микротик в базу данных. Теперь настало время научить наш сервер делать элементарный анализ получаемых данных и отправлять кома...
[Из песочницы] Машинное обучение в IT-мониторинге Введение Netcracker – это международная компания, разработчик комплексных IT-решений, включающих услуги по размещению и поддержке клиентского оборудования, а также хостингу созданной IT-системы для телеком-операторов. В основном это решения, связанные с организацией операц...
Новый курс Нетологии — Deep Learning: машинное обучение Курс Нетологии Deep Learning — это возможность научиться работать с многослойными нейронными сетями, компьютерным зрением и другими технологиями не на скучных лекциях, а создавая настоящие проекты с менторами. Курс для дата саентистов, инженеров данных и программистов. Чита...
Эти расширения для браузера крадут ваши данные Исследователь в сфере кибербезопасности Сэм Джидали (Sam Jidali) недавно обнаружил огромную утечку данных, раскрывающую личную информацию миллионов людей и 45 крупных компаний. Названная «DataSpii» Джидали и его командой, утечка была вызвана совершенно неприметными на первы...
[Из песочницы] .NET зоопарк под призмой NET Core Всем привет! Сегодня мы рассмотрим разные фишки и изменения, которые появились в .NET Core платформе и сравним их с Framework. Я разбил статью на модули для более лучшего понимания. Эта статья будет интересна тем кто собирается переходить на .NET Core или уже использует его....
Нейросеть научили «оживлять» портреты на основе всего одного статичного изображения Российские специалисты из Центра искусственного интеллекта Samsung AI Center-Moscow в сотрудничестве с инженерами из Сколковского института науки и технологий разработали систему, способную создавать реалистичные анимированные изображения лиц людей на основе всего нескольки...
Резидентская программа Яндекса, или Как опытному бэкендеру стать ML-инженером Яндекс открывает резидентскую программу по машинному обучению для опытных бэкенд-разработчиков. Если вы много писали на C++/Python и хотите применить эти знания в ML — то мы научим вас заниматься практическими исследованиями и выделим опытных кураторов. Вы поработаете над ...
«Судебные алгоритмы путают статистическую корреляцию с причинно-следственной связью» Многие считают, что алгоритмы пока не оказывают существенного воздействия на нашу жизнь. Сервисы на базе машинного обучения стоят за новостными лентами в Facebook и поисковыми механизмами Google, но на наше будущее они влияют минимально. Однако это не так: в частности, в США...
Шпаргалка для искусственного интеллекта — выбрось лишнее, учи главному. Техника обработки обучающих последовательностей Это вторая статья по анализу и изучению материалов соревнования по поиску корабликов на море. Но сейчас будем изучать свойства обучающих последовательностей. Попробуем найти в исходных данных лишнюю информацию, избыточность и её удалить. Статья эта тоже есть просто резуль...
[Перевод] 10 самых распространенных ошибок при работе с платформой Spring. Часть 1 Всем привет. Сегодня делимся первой частью статьи, перевод которой подготовлен специально для студентов курса «Разработчик на Spring Framework». Начнём! Spring — пожалуй, одна из самых популярных платформ разработки на языке Java. Это мощный, но довольно сложный в освоении...
Make C++ great again!.. in Tula Не так давно на базе нашего офиса мы провели бесплатный курс лекций «Современный и эффективный С++» и записали их на видео. Курс был рассчитан на недавно прибывших в наш коллектив программистов, стажеров и всех желающих. В этой статье мы хотели бы осветить цель данного курса...
OpenWorld: курс на восток. И в облако Международный форум Oracle проводится теперь не только в Сан-Франциско и Лондоне, но и в Азии. Oracle OpenWorld – один из крупнейших мировых ИТ-форумов, на протяжении многих лет каждую осень собирающий тысячи участников в Сан-Франциско. Кроме того, регулярно пр...
[Из песочницы] Система контроля библиотеки на Flask-Potion, Часть 0: готовим всё, что понадобится Введение В своей работе я уже некоторое время использую Flask-Potion — фреймворк, основными достоинствами которого являются: весьма удобная интеграция с SQLAlchemy моделями, автогенерация crud-эндпоинтов, наличие клиента potion-client (весьма удобного, если пишешь API сервис...
[Перевод] Svalbard — новое имя проекта Have I Been Pwned перед продажей В 2013 году я начал понимать, что утечки приватных данных становятся повсеместными. Действительно, такие случаи участились. И возросло влияние этих утечек на их жертв, включая меня. Всё чаще я писал в блоге на эту тему, которая казалась увлекательным сегментом индустрии инфо...
«Яндекс» учредил научную премию имени Ильи Сегаловича Илья Сегалович (iseg) Компания «Яндекс» объявила об учреждении ежегодной научной премии для поддержки молодых исследователей и научного сообщества в России, Беларуси и Казахстане. Премия им. Сегаловича вручается студентам, аспирантам и научным руководителям за достижения ...
Google продолжает нас использовать. Как мы развиваем ее бизнес? Google скоро будет буквально везде. Когда дело доходит до сохранности личных данных, пользователи, которые доверяют эти данные своим устройствам, начинают заметно нервничать. Они переживают, что информация попадет не к тем людям. Все это чревато определенными неприятными пос...
#10yearchallenge назван идеальным способом обучения нейросети Участники флэшмоба выкладывают свои фото с разницей в 10 лет и помечают хэштегами #10yearchallenge или #2009vs2019. С точки зрения машинного обучения, фотографии одного и того же человека с разницей в десятилетие — действительно очень ценный материал для нейросети: он позвол...
Раскрыта тайна загадочной болезни легких курильщиков электронных сигарет Курение как электронных, так и обычных сигарет не сделает вас здоровым и счастливым Несколько месяцев назад мы рассказывали вам об эпидемии неизвестной болезни среди курильщиков электронных сигарет, зафиксированной на территории Соединенных Штатов Америки, а также о том, что...
Когда побеждать — это твой профиль Всем привет! Меня зовут Лида, и я провожу соревнования по программированию уже 12 лет. (Привет, Лида!) В этом году я присоединилась к Команде ВКонтакте и теперь курирую VK Cup. Целых 5 сезонов это был чемпионат только по спортивному программированию. Но настала пора серьёзны...
[Из песочницы] Удалённая работа у здорового (?) работодателя В 2019 году удаленная работа в ИТ уже давно никого не удивляет — она воспринимается как один из доступных способов организации команды. Почитать об этом можно в восторженных отзывах работников, слегка хвастливых рассказах работодателей, скучных аналитических статьях рекрут...
Книга «Совершенный алгоритм. Графовые алгоритмы и структуры данных» Привет, Хаброжители! Алгоритмы — это сердце и душа computer science. Без них не обойтись, они есть везде — от сетевой маршрутизации и расчетов по геномике до криптографии и машинного обучения. «Совершенный алгоритм» превратит вас в настоящего профи, который будет ставить за...
Глава Huawei: 5G в смартфонах и об инвестициях в новые ... В конце года принято подводить итоги года уходящего, а также строить планы на год будущий. Это же сделал глава мобильного подразделения Huawei Ю Чэндун в своем выступлении в рамках 15-й Глобальной конференции аналитиков, прошедшей в Китае. Прежде всего, он напомнил о 200 мил...
[Из песочницы] (5-2) Способа перенести большую SQL таблицу Введение Всем привет! Это моя первая статья и пишу я ее от лица младшего инженера-разработчика на языке C#. Так что здесь не будет каких-то подробных сведений о SQL, лишь практические сведения и размышления по решению довольно не очевидной задачи, с которой мне пришлось стол...
Топ ошибок со стороны разработки при работе с PostgreSQL HighLoad++ существует давно, и про работу с PostgreSQL мы говорим регулярно. Но у разработчиков все равно из месяца в месяц, из года в год возникают одни и те же проблемы. Когда в маленьких компаниях без DBA в штате случаются ошибки в работе с базами данных, в этом нет ничег...
VyOS OpenSource Router В этой статье я хотел поднять не стандартную для меня тему о сетевом маршрутизаторе VyOS. Впервые я познакомился с этим проектом благодаря Нилу Андерсону (Neil Anderson) который составил гайд как у себя дома развернуть мини-лабораторию с NetApp симулятором и VyOS. Ключевы...
Magento 2: импорт продуктов прямо в базу В предыдущей статье я описал процесс импорта продуктов в Magento 2 обычным способом — через модели и репозитории. Обычный способ отличается весьма низкой скоростью обработки данных. На моём ноутбуке выходило примерно один продукт в секунду. В данном продолжении я рассматрива...
Раскрыты персональные данные любителей порно со всего мира База данных активности посетителей сайтов «Camgirl» за несколько месяцев оказалась незапароленной. В таком виде она провисела в интернете на протяжении нескольких недель. Общедоступной стала такая конфиденциальная информация, как имена и фамилии пользователей, время входа в ...
Новая гарнитура виртуальной реальности M400 Smart Glasses Сегодня, компания Vuzix, анонсировала гарнитуру виртуальной реальности M400 Smart Glasses, которые будут представлены на конгрессе Mobile World в Барселоне. Они станут одними из первых гарнитур на платформе Qualcomm Snapdragon XR1, когда они появятся на рынке в конце этог...
СМИ: Хакеры взломали базу данных американской Комиссии по ценным бумагам и заработали миллионы на инсайдерской торговле Изображение: Pexels Как пишет издание CNBC, федеральные прокуроры США предъявили обвинения в несанкционированном проникновении в базу данных Комиссии по ценным бумагам и биржам США (SEC) нескольким частным лицам. По данным властей, группа хакеров из США, России и Украин...
ML на Scala с улыбкой, для тех, кто не боится экспериментов Всем привет! Сегодня будем говорить о реализации машинного обучения на Scala. Начну с объяснения, как мы докатились до такой жизни. Итак, наша команда долгое время использовала все возможности машинного обучения на Python. Это удобно, есть много полезных библиотек для подг...
Искусственный интеллект Amazon обвинили в предвзятости к расе человека Разработкой системы распознавания лиц занимается практически каждая технологическая компания. Одной из них является Amazon — ее технология называется Rekognition и, по мнению специалистов из Массачусетского технологического института, она сильно уступает своим аналогам. Дел...
Нейронные сети предпочитают текстуры и как с этим бороться В последнее время вышло несколько статей с критикой ImageNet, пожалуй самого известного набора изображений, использующегося для обучения нейронных сетей. В первой статье Approximating CNNs with bag-of-local features models works surprisingly well on ImageNet авторы берут м...
5 декабря, ManyChat Backend MeetUp Всем привет! Меня зовут Михаил Мазеин, я — ментор Backend community ManyChat. 5 декабря в нашем офисе пройдёт первый Backend Meetup. В этот раз мы поговорим не только про разработку на PHP, но и затронем тему использования баз данных. Начнём с истории про выбор инструме...
«Коммерсантъ»: личные данные клиентов «Сбербанка» оказались в открытом доступе База включает данные о 60 млн действующих и закрытых кредитных карт. В «Сбербанке» проверяют информацию.
«Коммерсантъ»: неизвестные продают базу с данными о 60 млн кредитных карт «Сбербанка» В «Сбербанке» проверяют информацию и пока сообщили о возможной утечке данных минимум 200 клиентов.
Сбербанк предложил создать медицинскую и образовательную базы данных. Для этого придется менять законодательство о персональной информации Сбор медицинской и образовательной информации о гражданах позволит увеличить продолжительность жизни и улучшить результаты обучения, рассчитывают авторы идеи. Но работа с подобными данными несет риски их утечки, опасаются эксперты.
Автономная – значит самоадминистрируемая СУБД Oracle 19c была представлена на конференции Oracle Experience Autonomous Day в Москве. Среди новых возможностей - сбор статистики работы базы данных в реальном времени и система карантина для SQL-запросов, например, сильно загружающих CPU или генерирующих слишком много ...