Python, Go или… готовим сырой видеопоток с полсотни камер

Это база машинного обучения Рассказать всё о машинном обучении на двух страницах текста — невыполнимая задача. Именно сложность и многообразие темы могут отталкивать тех, кто только начинает знакомство с ней. Однако мы хотим помочь на этом пути и дать упрощённое введение в машинное обучение, чтобы кажд...

Предварительная обработка данных для машинного обучения В данной статье рассмотрим пример предобработки данных для дальнейшего исследования, например, использование метода кластеризации. Но для начала проясним, что из себя представляет машинное обучение и из каких этапов оно состоит. Читать далее

Отправляем и принимаем SMS с помощью SIM868 и Repka Pi В этой статье мы продолжим рассказ об использовании модуля GSM/GPRS/GNSS Bluetooth HAT, созданного на базе SIM868, для беспроводной передачи данных в виде СМС-сообщений через Российский одноплатник Repka Pi. Такой способ даже в наше время актуален, когда нужно управлять авто...

Машинное обучение и встраиваемые системы. Демонстрация возможностей Одним из преимуществ технологий машинного обучения является их способность к обучению и адаптации на основе новых данных, что позволяет решать задачи распознавания образов, обработки естественного языка и поиска закономерностей и аномалий. Традиционно, собранные данные обра...

Зачем на камере и видеорегистраторе нужен криптоблок и как его восстановить Представьте себе ситуацию, когда на камере наблюдения испортилась флэшка с прошивкой, и камера нуждается в ремонте. Берём копеечную флэшку и меняем, а прошивку скопируем с точно такой же камеры. Пять минут рекламы, и теперь камера работает и показывает видеопоток вновь. Но...

Операторы PostgreSQL для Kubernetes. Как мы выбирали идеальный вариант для организации системы DBaaS Некоторое время назад у нас возникла задача организовать возможность создания managed баз данных. Сложность данной задачи в том, что нам надо развертывать и управлять тысячами баз данных PostgreSQL, которые обеспечивают репликацию, бэкапы, мониторинг и другие полезные пользо...

Продюсеры и консьюмеры с Apache Kafka в Python Салют, Хабр!Apache Kafka - это распределенная платформа потоковой обработки, предназначенная для построения систем обработки данных. Kafka позволяет публиковать, подписываться, хранить и обрабатывать потоки данных в реальном времени. Все это дает нам очень высокую пропускную...

Актуальные рецепты еды в Sea Of Conquest В предыдущем гайде по игре Sea Of Conquest я рассказал про перегонку и рецепты для всех крепких напитков. Теперь настал черёд еды, без которой каждый пират также не сможет обойтись, как и без бутылки рома. Как и алкоголь, еда в Sea of Conquest разделена на уровни редкости. Ч...

Уродливая математика в машинном обучении или чему нам стоит поучиться у деривативов? Когда слушаешь доклады на больших ML-конференциях, то часть докладов вызывает восторг, но другая часть на послевкусии вызывает странное чувство. Да, доклад может быть очень крутым, математика блестящей, сложность крышесносной, но что-то как будто бы не так.Эта статья — развл...

Проектируйте правильно Проект это сложная история. Обычно это относительно сложное и длительное мероприятие, создать программный продукт и провести его через стадию активной разработки до первой реальной коммерческой эксплуатации. Лично я видел как этот путь, в среднем, занимал от 2 до 5 лет на пр...

Сделали библиотеку компонентов, но пришлось переделывать. Почему так вышло и чем дело кончилось Привет, Хабр. Меня зовут Артем Арефьев, я руковожу Frontend-разработкой в направлении продукта для учеников в Учи.ру. Фронтендом занимаюсь уже 11 лет, шесть из которых работаю у нынешнего работодателя. Еще принимаю участие в проектах Open Source (например, внес вклад в проек...

Python Multiprocessing. Обмен данными между процессами. Передача объектов пользовательских классов Параллельное программирование — сложный, но очень полезный навык для программиста. Оно позволяет эффективно использовать мощности современных компьютеров с несколькими ядрами и процессорами. Это особенно важно при решении сложных задач, например, в и...

[recovery mode] Меньше работы с людьми, больше работы с данными: кому подойдет мир аналитики В мире, где каждый клик, каждое взаимодействие и каждая транзакция превращаются в данные, способность понимать и интерпретировать этот поток информации становится все более ценной. Данные — это золото нашего времени, невидимый актив, который в правильных руках способен преоб...

ч.15 Игровой авторитарный сервер на процессах и его архитектура в картинках — Создание сервера для онлайн ММО игр на PHP В предыдущей статье я рассказывал об архитектуре приложения , где ее отдельные компоненты могли бы работать параллельно не блокируя выполнения друг друга.В этой статье я расскажу о причинах , по которым пришлось сменить взаимодействие между потоками на процессы и выделить ко...

Tesla отзывает 200 000 автомобилей в США из-за проблем с программным обеспечением При движении задним ходом водители могут столкнуться с пустым экраном вместо видеопотока с камеры заднего вида, что ухудшает видимость и увеличивает риск аварий

Использование открытых форматов для строительных проектов набирает обороты. Забудьте об использовании API и плагинов В 2024 году ни одна крупная компания в мире, работающая с CAD (BIM) данными, не получает доступ к данным из CAD (BIM) программ через API или плагины. Все крупные компании, работающие с форматами CAD (BIM), работают с определенными SDK а форматы, содержащие данные о строитель...

[Перевод] Настройка производительности диска и памяти в Linux В отличие от таких операционных систем как HPUX (dbc_min_pct, dbc_max_pct) или AIX (minperm%, maxperm%), в Linux нет возможности настраивать размер кэша страниц, читаемых с диска (страничный кэш, page cache). Под страничный кэш Linux использует всю доступную память. Размер с...

[Перевод] Xv6: учебная Unix-подобная ОС. Глава 6. Блокировки Ядро ОС выполняет программы параллельно и переключает потоки по таймеру. Каждый процессор выполняет поток независимо от других. Процессоры используют оперативную память совместно, поэтому важно защитить структуры данных от одновременного доступа. Потоки испортят данные, если...

Борьба с энтропией в e-com. Как поддерживать актуальными данные о товарах в вечно меняющемся мире Всё течёт, всё изменяется. Особенно информация — она очень быстро устаревает. В e-com неактуальные данные о товарах могут сильно подпортить клиентский опыт. Если удовлетворенность пользователей — важный фокус вашей работы, мне есть чем поделиться :)Всем привет! Я Г...

Для работы AI Explorer в Windows 11 потребуется платформа ARM64 и 16 ГБ ОЗУ Известный инсайдер Albacore обнаружил* информацию о требованиях, необходимых для работы пока ещё неанонсированной функции AI Explorer для Windows 11. Эти данные были извлечены из кода сборки 26100, которая, предположительно, получила статус RTM в качестве базовой сборки Win...

Российская компания создала технологию быстрого обучения нейросетей для беспилотного транспорта Компания Cognitive Pilot, совместное предприятие Сбера и Cognitive Technologies, разработала нейросеть для обучения автопилотов с искусственным интеллектом для умного транспорта и сельхозтехники. Чтобы гарантировать безопасность движения, системе нужно учесть практическ...

iPhone можно использовать в роли веб-камеры с гибкой настройкой Некоторое время назад разработчики из компании Apple заявили, что в новой операционной системе для компьютеров Mac будет реализована новая функция, которая позволяет трансформировать iPhone в веб-камеру. Данная функция работает не только на ноутбуках компании, но и на дескто...

[Перевод] Прощайте, базы данных, да здравствуют векторные базы данных Революция в области искусственного интеллекта переформатирует все отрасли нашей жизни, с одной стороны обещая невероятные инновации, а с другой ー сталкивая нас с новыми вызовами. В безумном потоке изменений эффективная обработка данных становится приоритетом для приложений, ...

Как перезапускать PySpark-приложение и зачем это может понадобиться Сегодня все крупные компании сохраняют и обрабатывают большие объёмы информации, причём стремятся делать это максимально эффективным для бизнеса способом. Меня зовут Мазаев Роман и я работаю в проекте загрузки данных на платформу SberData. Мы используем PySpark, который позв...

Как шутят математики. Шифры Фейнмана Ранее я писал о взломе первого и второго шифра, придуманных математиком Полом Оламом ради розыгрыша своего друга Ричарда Фейнмана. Если описать контекст в нескольких словах, то эти шифры были одной из математических шуток, которые были в широком ходу у коллектива учёных, раб...

Нейросеть мне в помощь или как я сделал телеграм бота, который умеет переводить песни Однажды, когда я искал эффективное решение для преобразования речи в текст (транскрибации), чтобы применить его в своем проекте умной колонки, обнаружил интересное решение под названием Whisper от широко известной компании Open AI. К сожалению, Whisper не подошел для реализ...

Статический анализ структуры базы данных (часть 2) Продолжим разбор проверок структуры базы данных, на примере PostgeSQL. Данная статья будет посвящена проверкам связанным с ограниением FOREIGN KEY (FK). Часть проверок целесообразно выполнять на регулярной основе, а некоторые позволяют лучше понять структуру проекта при перв...

Декодирование файла, поиск уязвимости и взлом пароля. Решаем задачи по сетям из KnightCTF 2024 Привет, Хабр! В прошлой статье я рассказывал о турнире KnightCTF 2024, который организовала команда из Бангладеша. Но туда вошли не все задачи. Под катом расскажу еще о четырех из категории networking. Читайте далее — узнаете, как получить секретную информацию в bash-histor...

Тестируем AI на создании прикладного приложения Всем привет, я Григорий Тумаков, CTO в Моризо Диджитал.Недавно рассказал на Хабре, как мы в компании “потрогали” нейросети для прикладных задач разработки. Но там никаких серьезных выводов сделать не удалось.Поэтому решил на этом не останавливаться. Если есть инструменты — и...

Обзор современных подходов персонализации диффузионных нейронных сетей Задача персонализации text-to-image модели состоит в донастройке предобученной нейронной сети так, чтобы она могла генерировать изображения заданного объекта в выбранных сценах. Несмотря на то, что подходы к решению этой задачи существуют, для их применения в высоконагруженн...

Миссия, цели, ценности и слоган компании: зачем они нужны, какие функции выполняют и как придумать? Без зубодробительной нудности и с пониманием мотива разберём давний вопрос, а не так, как это делает Ваша HR-служба на стадии адаптации сотрудника. Расскажу, почему это необходимо для крупного бизнеса, как их наличие помогает компаниям, а также, что нужно знать при их формир...

За Уралом создадут межуниверситетскую квантовую сеть на отечественном оборудовании Участники проекта «Большой университет» Томска подписали соглашение о создании межуниверситетской квантовой сети. Как подчеркнули в пресс-службе, это первая за Уралом межуниверситетская квантовая сеть.  Сгенерировано нейросетью Dall-E Соглашение направ...

Как мы создаём Squadus: реальна ли выгода от использования open-source? В апреле 2023 года мы выпустили Squadus — инструмент деловых коммуникаций, фундаментом которого стало СПО. Над проектом мы работаем около трёх лет, и сегодня это комплексный, многофункциональный продукт для компаний любой численности.К созданию Squadus мы подходили как к неп...

Многопоточность в Python: очевидное и невероятное В данной статье я покажу на практическом примере как устроена многопоточность в Python, расскажу про потоки, примитивы синхронизации и о том зачем они нужны.Изначально я планировал что это будет простая и короткая заметка, но пока готовил и тестировал код нашел интересный не...

Обучение с подкреплением. Q-обучение. Понятное объяснение В данной статье я подробно опишу один из методов обучения с подкреплением - обучение на основе функции полезности (Q-обучение или Q-learning). Читать далее

Российские учёные «научили» ИИ самостоятельно готовить данные для обучения Российские программисты добавили нейросети функцию обработки данных для самообучения

ESPspectrum прошивка ESPspectrum - проект на основе компьютера ZX spectrum, с собственной простой операционной системой. Это вторая статья проекта ESPspectrum. В данной статье описывается программный код OC. Есть возможность открывать, редактировать, создавать и удалять файлы. Есть калькулятор с...

Пароли в открытом доступе: ищем с помощью машинного обучения Я больше 10 лет работаю в IT и знаю, что сложнее всего предотвратить риски, связанные с человеческим фактором. Мы разрабатываем самые надежные способы защиты. Но всего один оставленный в открытом доступе пароль сведет все усилия к нулю. А чего только не отыщешь в тикета...

[Перевод] Почему я не буду использовать Next.js Представьте, что вы планируете начать новый проект или использовать в существующем более современный подход. А, может, вас просто не устраивает используемый фреймворк, и вы подумываете об альтернативах. В любом случае вам нужно что-то выбрать. Существует множество «совреме...

Нужен ли продакт в ML-команде? Мнение изнутри Пять лет назад из обычного продакт-менеджмента я перешла в команду с дата-сайентистами. И весь процесс моей работы сильно изменился. Раньше после определения потребностей пользователя я приходила к команде разработки с готовой задачей и дизайн-макетами. А после разработ...

Учёные обучили органоид мозга человека распознавать речь, как учат современные нейросети В основе современных нейросетей лежит идея подобия нейросетям человеческого мозга. Учёные из Университета Индианы в Блумингтоне решили проверить, можно ли избавиться от необходимости создавать что-то подобное и просто взять оригинал. Для этого они вырастили органоиды го...

Ключевой навык успешной карьеры в ИТ или 8 заблуждений на проектах Привет! Если по вашим венам уже во всю течет оливье, но полноценно работать работку пока не тянет, или просто хочется легкого полезного чтива, то данная статья как раз для вас. В ней я постараюсь на реальных примерах рассказать об одном навыке, который считаю ключевым для ра...

Введение в архитектуру MLOps Привет, Хабр!MLOps, или Machine Learning Operations, это практика объединения машинного обучения и операционных процессов. Она направлена на упрощение и ускорение цикла разработки, тестирования, развертывания и мониторинга моделей машинного обучения. В MLOps применяются прин...

Нужно ли разработчикам проектирование? Такие схемы на проектах готовят наши архитекторы. Достаточно ли их чтобы оценить состав и сложность каждого модуля, объем и трудоемкость работ в целом. Поможет ли такая схема при планировании работ? В статье рассуждение о том что могло бы помочь. Читать далее

Компьютерное зрение сквозь года Как-то я столкнулся с довольно тривиальной, но новой для себя задачей - оптического распознавания символов (OCR). Так сложилось, что готовые инструменты (типа tesseract-ocr) мне не подошли, поэтому пришлось изобретать велосипед. Но к этому процессу я решил подойти со всей от...

Врач перечислила болезни, при которых нельзя есть сырые овощи Врач-гастроэнтеролог «СМ-Клиника» Евгения Мельникова назвала болезни ЖКТ, при которых противопоказано употребление сырых овощей.

Впихнуть невпихуемое: как в НИЦ «Технологии» разрабатывали корпуса для IP-камер Максим Тулов в своем обзоре удивился нашим "самодельным" корпусам и спросил почему бы не воспользоваться готовым китайским решением. IP-камера довольно типовой продукт, и подходящих решений на любой площадке — хоть отбавляй. Так зачем изобретать велосипед?О причинах, а также...

Записываем экран и звук через расширение в браузере и сохраняем в NextCloud Здравствуйте дорогие читатели.В статье делюсь опытом создания расширения для Chromium и Google Chrome браузера.Причиной для создания расширения послужило отсутствие функции сохранения результатов записей в своём облаке и удобство этого процесса.Раньше я пользовался «условно ...

Business intelligence и качество исходных данных Сегодня бизнес хочет принимать решения, основываясь на данных, а не на ощущениях, тем более что сейчас для этого есть все возможности. Предприятия накопили терабайты и эксабайты данных, их количество растет в геометрической прогрессии каждый день. Как повлиял ковид на ценооб...

Лапочки с характером: Как машинное обучение помогает определить тип личности ваших пёсиков Предлагаю Вам разбавить все серьезные, обсуждаемые здесь темы, небольшой отдушиной для многих из нас!Собаки – настоящие маленькие спутники жизни каждого хозяина, поэтому многих обрадовала бы возможность подобрать питомца, который будет вписываться в привычный образ жизни, и,...

MLOps в билайн: как катить машинное обучение в production без ML-инженеров. Часть I Всем привет! Меня зовут Николай Безносов, я отвечаю за применение и развитие машинного обучения и продвинутой аналитики в билайне. В одной из прошлых статей мои коллеги рассказывали о месте Seldon в ML-инфраструктуре компании, а сегодня мы поднимемся на уровень выше и погово...

Как я написал свой первый классификатор эмоций Всем привет! Немного о себе. Меня зовут Максим, я работаю специалистом по Machine Learning в компании SimbirSoft. Последние два года я углубленно изучал область машинного обучения и компьютерного зрения и сегодня с удовольствием поделюсь с вами опытом разработки личного пет-...

Новинки Hitrolink: ВКС в формате 4К Бренд Hitrolink, объединяющий широкий ассортимент высококачественных современных продуктов для систем видеоконференцсвязи и коллективного взаимодействия, представляет в России новые устройства, предназначенные для создания современных стационарных систем видеоконференцсвязи...

XMG1930-30HP: AV over IP для ЦОД Мы уже не раз в нашем блоге на Хабре рассказывали о технологии AV over IP, которая позволяет гонять 4K-видеопотоки не с помощью HDMI, а используя для этой цели IP-сети. Можно ошибочно думать, что это актуально лишь для каких-нибудь спортивных баров и концертных площадок. Эт...

Прыжок по облакам: кейс миграции MS SQL Server из Azure в VK Cloud Миграция ИТ-инфраструктуры из облака в облако — квест, с которым сейчас сталкиваются многие компании и на своих шишках понимают сложность всего процесса. И чем больше инфраструктура, тем выше уровень сложности этого квеста. Особенно если перенести надо работающий сервис с ...

Россиянам рассказали о потенциальных угрозах использования ИИ Дмитрий Ермилов, руководитель департамента машинного обучения и искусственного интеллекта "Билайна", высказал мнение о потенциальных рисках, связанных с передачей управления системами нейросетям. По его словам, нейросети сами по себе не являются угрозой, поскольку это матема...

Компромисс смещения и дисперсии в машинном обучении Привет Хабр! В этой статье мы рассмотрим такое понятие в машинном обучении, как компромисс смещения и дисперсии (bias-variance Tradeoff). Так как понимание того, что можно изменить в процессе обучения нашего алгоритма обучения, приведет нас к созданию более точных моделей. Ч...

Интеграция с ЕСИА на Node.js без CryptoPro [2024] Приветствую! Свою первую статью решил посвятить технической стороне интеграции с ЕСИА (Госуслугами). Считаю данный материал уникальным, поскольку пока разбирался в этой задаче не увидел ни одной статьи которая описывает интеграцию с ЕСИА без использования платной CryptoPro. ...

«Неисповедимы пути архитекторов»: FAQ по профессии архитектор решений (Solution Architect) Кажется, что сейчас нет ни одного крупного бизнеса, где бы не работали архитекторы. Однако с ролью архитектора решений (Solution Architect) история очень интересная, так как этим специалистам часто приходится сталкиваться с непониманием данной роли в проекте. Наиболее частый...

[Перевод] Особенности кодировки строк в Base64 в JavaScript Кодировка (encoding) и декодирование (decoding) в Base64 — распространенный способ преобразования двоичных данных в безопасный текст. Он часто используется в Data URL, таких как встроенные (inline) изображения. Прим. пер.: с помощью data URL можно решить проблему (ошибку) ...

Business Intelligence — быстрый старт Все мы работаем в разных предметных областях, и бывает усложно уделить время знакомству с BI. Надеюсь, у Вас есть менее получаса на чтение этой статьи и знакомство с примером, а также есть желание провести графический BI анализ на .NET, в таком случае - добро пожаловать.В эт...

Новая жизнь старого GPS-приёмника В этой статье я расскажу о том, как я использовал старый GPS-приемник в качестве приёмника для захвата "сырых" данных GPS. Также я постараюсь рассказать о базовых принципах приема и декодирования данных GPS. Читать далее

Как подружить нейросети и разработку: программируем с ChatGPT Большинство людей используют ChatGPT и подобные ему технологии как альтернативу Google. Но насколько нейросеть пригодна для написания рабочего программного кода? Помогает ли она упростить этот процесс, повысить его эффективность и качество? И какие сегодня возможности по авт...

5 лучших переводчиков через камеру телефона на Android За время своего существования переводчики на Андроид претерпели серьезные изменения. Они стали не только точнее, но и функциональнее. Если раньше нам приходилось вводить текст самостоятельно, выверяя каждую букву, то теперь приложения делают все за нас. И все это благодаря ...

BTSbot — искусственный интеллект, который успешно обнаруживает и классифицирует сверхновые Разработанная международным проектом система Bright Transient Survey Bot (BTSbot) автоматизирует весь процесс поиска новых сверхновых по всей небесной сфере. Это не только значительно ускоряет процесс анализа и классификации новых кандидатов, но и исключает человеческую...

Эволюция системы разработки на SQL Мы — SQL команда Срочного рынка Московской Биржи, занимаемся разработкой и сопровождением бэкофиса торгово-клиринговой системы Spectra с момента ее возникновения. Срочный рынок Московской Биржи — это более 500 фьючерсных и 30000 опционных инструментов, несколько миллионов сд...

Учёные выяснили, как влияет на собак сухой корм и сырое мясо Ветеринары зачастую предостерегают владельцев собак от перехода их питомца на сырое мясо. Такая пища может содержать бактерии, вызывающие болезни как у питомца, так и у человека. Но чтобы понять, действительно ли натуральная еда полезнее сухого корма, специалисты из Государс...

CatBoost Добрый день, уважаемые читатели Хабра! CatBoost – алгоритм, разработанный специалистами из Yandex, представляет собой нечто большее, чем просто ещё один инструмент в арсенале данных науки. CatBoost – это гармоничное сочетание инноваций и эффективности, особенно когда дело до...

Облачная трансформация ИТ инфраструктуры современной компании. Практический опыт Х5 Group Привет, меня зовут Максим Осорин, я руковожу Х5 Облаком в Х5 Group. Хочу рассказать про то, как мы трансформируем ИТ инфраструктуру крупнейшего в стране продуктового ритейлера. Зачем это нужно, как мы это делаем, с какими сложностями сталкиваемся и как их преодолеваем.Данная...

[Перевод] Cовместное использование GitHub Actions, Docker и GitHub NPMvPackage В современном мире разработки программного обеспечения GitHub остается самой популярной платформой для хранения Git-репозиторий и управления ими. Помимо своей фундаментальной роли в управлении версиями, GitHub предлагает дополнительные функции, включая возможность размещения...

Прокачиваем навыки в сфере ML — что изучать в 2024-м Бизнесу нужны технологии, способные обрабатывать огромные объемы данных, предоставлять релевантные рекомендации, оценивать финансовую надежность клиентов и обеспечивать эффективный поиск информации. Ключевым элементом для автоматизации рутинных задач и создании бизнес-решени...

Онбординг аналитиков. Опыт Bimeister Я много слышу от новых коллег, что у нас в компании классный онбординг, что это им легко, комфортно входить в процесс, нет стресса. А ещё внутри компании и команды аналитиков он работает классно, поэтому решила поделиться им. Почти каждый а...

В Сеть слили 1,2 ТБ невыпущенных игр на iOS — среди них Angry Birds Hatchery и сырая версия My Om Nom Перед тем как выпустить игру в App Store, разработчики мобильных игр проводят тестирование в TestFlight. Если вам казалось, что экосистема Apple защищена — это не совсем так. Дело в том, что в Сеть слили архив из более 76,000 невыпущенных приложений и игр. Благодаря этому в ...

Асинхронная работа с файловой системой в Vert.x Vert.x – это экосистема для создания реактивных приложений на JVM, которые могут масштабироваться и обрабатывать огромные объемы данных в реальном времени. Это полиглоттная платформа, поддерживающая не только Java, но и Kotlin, Groovy, Scala, и еще js. В контексте статьи раб...

Делаем crackme. Часть первая: whitebox AES Эта статья первая из цикла, в котором мы будем создавать crackme для linux amd64. В crackme будут реализованы шифрование каждой функции отдельным ключём и наномиты для противодействия отладке. В данной статье мы рассмотрим алгоритм встраивания к...

Scram для создания аппаратуры. Проект по созданию системы тестирования ADAS или краткая история 8 месяцев нашей жизни Добрый день, уважаемые коллеги и друзья! Уже больше года я работаю в Армении в компании, которая занимается созданием под ключ сложных, комплексных систем. Взяли меня на роль руководителя проектов, чем собственно я и занимаюсь последние 5 с лишним лет. В данной статье я хоте...

[Перевод] Самая сложная часть создания программного обеспечения — это не написание кода, а сбор требований Несмотря на все статьи о том, насколько удивительными были все разработки в области искусственного интеллекта, многие страдают от возможности того, что мы, как разработчики программного обеспечения, вскоре можем остаться без работы, и их заменит искусственный интеллект. Они ...

Написание open source проекта на примере рендера для ttf шрифтов. Начало В данном проекте планируется создать парсер, а затем и рендер для шрифтов с расширениями TTF, OTF, TTC, OTC.Цикл данных статей является своеобразным блогом, но не обучающим. Наоборот я прошу об обратном отклике в виде комментариев.Данный влог - это опыт создания open source ...

Где мне это пригодится в жизни или применение Nothing в Kotlin на примере В данной статье я хочу показать, почему развитая система типов в языке программирования это здорово. Я попробую провести небольшой ликбез о таких на первый взгляд сложных вещах, как sealed-иерархии, ковариантность и тип Nothing на понятном практическом примере создания своей...

Как быстро написать API на FastAPI с валидацией и базой данных Все веб-запросы обрабатываются на сервере — это хорошо всем известно. Но бывает, когда нужно написать специальный программный интерфейс, так называемый API, через который пользователи смогут централизованно получать данные и вносить изменения, например, в свой профиль. В ...

Уравнение с тремя неизвестными: как отлавливать баги в системах хранения данных Привет! Меня зовут Никита Гуцалов, я инженер в компании YADRO и занимаюсь разработкой ПО для системы хранения данных TATLIN.UNIFIED. Вообще с системами хранения данных (СХД) я работаю уже много лет и люблю эту тему, поскольку она постоянно бросает новые вызовы, заставляя реш...

Рисуем с нейросетями: тонкие корректировки в Midjourney и Lumenor.ai Привет, Хабр! Я – Михаил Суворов, ведущий дизайнер коммуникаций в X5 Tech. В статье я расскажу несколько рабочих способов “уговорить” нейросеть нарисовать то, что вам нужно. Я использую нейросети как генераторы изображений, в первую очередь для создания иллюстраций.Если вы д...

Ищем Арнольда Шварценеггера среди мужчин, женщин и детей с помощью нейросети на С++ Привет, Хабр! Меня зовут Кирилл Колодяжный, я ведущий инженер-программист в YADRO. Помимо основных рабочих задач, включающих исследование проблем производительности СХД, я увлекаюсь машинным обучением. Участвовал в коммерческих проектах, связанных с техническим зрением, 3D-с...

Фамильный вики-движок Bonsai: 6 лет спустя Прошло шесть с лишним лет с момента, когда я начал работать над проектом Bonsai. Если в двух словах, то это вики-движок, заточенный под хранение семейной истории и построение генеалогических деревьев. Он распространяется в полностью открытом и бесплатном виде, подразумевая у...

Google закрывает еще один свой проект. Прощай, Keen Google прощается со своим проектом «Area 120», Keen, платформой, напоминающей Pinterest, в которую были встроены рекомендации на основе машинного обучения (ML). Запущенная в середине 2020 года, Keen позволяла пользователям создавать коллекции (так называемые «Keens») по разл...

[Перевод] Ликбез по корутинам Kotlin Корутины — это паттерн проектирования, предназначенный для написания асинхронных программ, способных выполнять нескольких задач одновременно.В асинхронных программах несколько задач выполняются параллельно в отдельных потоках, не дожидаясь завершения друг-друга. Потоки — рес...

Миграция с Webpack и react-scripts на Vite: Путь к Быстрому и Легковесному React Я работаю фронтенд-разработчицей в IT-компании, и многие из моих проектов на протяжении долгого времени собирались с использованием Webpack. Настройка Webpack иногда бывала сложной, но в целом он справлялся с задачей сборки проектов. Однако в последнее время мои коллеги нача...

Ключи в базе данных: практический обзор для начинающих системных аналитиков Всем привет! Меня зовут Оксана, я системный аналитик из компании EvApps. Что побудило меня написать эту статью? Я обучаю стажеров – системных аналитиков, и недавно столкнулась с такими вопросами, о которых раньше даже не задумывалась.Вопросы были связаны с разными видами клю...

Самый лучший в мире курс по Машинному обучению — Алгоритмы Машинного обучения с нуля Краткий обзор курса, который я недавно закончил пилить на степике. Курс хардкорный :) В нем необходимо с нуля писать алгоритмы машинного. Наверное это один из лучший способов досконально разобраться в алгоритме.Курс бесплатный: https://stepik.org/course/68260/promo Читать да...

[Перевод] Разметка данных при помощи GPT-4 Разметка данных — критически важный компонент проектов машинного обучения. К ней применима старая поговорка «мусор на входе — мусор на выходе». В процессе разметки создаются аннотированные датасеты для обучения и проверки. Однако этот процесс может быть длительным и дорогос...

Войти в IT. Как живётся молодым специалистам в государственных медучреждениях Я часто читаю «Хабр» ради развлечения и для того, чтобы быть в курсе последних новостей. С завистью читаю статьи состоявшихся IT-специалистов, ведь мне приходится работать в совершенно других условиях, — за гроши должен обеспечивать начальству стабильный заработок и помогать...

Методы работы со смещением и дисперсией в модельках машинного обучения В давние времена были вечные битвы с переобучением и недообучением в модельках машинного обучеиня. Вечная битва между смещением и дисперсией. Подходит ли модель к данным как идеальный ключик, или же она скорее ели пытается влезть туда... Эта дилемма определяет, насколько хор...

Укрощение примитивов синхронизации: сравниваем решения задачи с построением пула потоков на С и Go Эта статья основана на истории об одном личном челлендже. Задача звучала так: помочь с реализацией взаимодействия компонентов в программном комплексе заказчика. Иными словами, понадобилось IPC для дальнейшего развития продукта. Вызов заключался в том, что в обязательных треб...

Обновление кешей сервисов в реальном времени с помощью YDB CDC на примере Yandex Monitoring Меня зовут Егор Литвиненко. Я старший разработчик Yandex Observability Platform. Летом 2023 года я рассказывал на Saint Highload в Санкт-Петербурге про наш путь внедрения YDB CDC для обновления данных в сервисах, чтобы решить проблему инвалидации кэшей.В этой статье будет вс...

Как я написал программу для преданалитики клиентов Привет! Меня зовут Александр Кулагин. Я не занимался разработкой профессионально, но заинтересовался созданием нейросетей. После изучения основ Python, NumPy и TensorFlow я захотел попрактиковаться на реальных задачах. Так я решил создать проект, который оценивает, какие ком...

Подглядывание в A/B тестах: как не потерять достоверность данных Привет, Хабр!A/B тестирование позволяет принимать обоснованные решения о том, какие функции или изменения наилучшим образом способствуют улучшению пользовательского опыта и повышению конверсии. Однако, несмотря на кажущуюся простоту проведения таких экспериментов, существует...

[Перевод] Непрерывность функционирования систем жизнедеятельности: Совокупность циклов обратной связи Наблюдая за программными системами и процессами жизнедеятельности с точки зрения непрерывности функционирования систем, я намерен углубить свое понимание жизни как системы в этой статье.В первой половине исследования я расскажу вам о том, как разработчики программного обеспе...

Сообщества вокруг технологии: почему быть бесплатным недостаточно Эта статья может пригодиться тем, у кого есть пет-проект с открытым исходным кодом, который хочется продвигать, но нет опыта работы с коммуникациями. Меня зовут Ксения Романова, по образованию я PR-специалист, работала в маркетинге, затем в Developer Relations. Сейчас я мене...

Простой ORM для sqlite3 ORM, или объектно-реляционное отображение — это программная технология, которая позволяет взаимодействовать с базами данных с использованием объектно-ориентированной парадигмы. Вместо того чтобы писать SQL-запросы напрямую для работы с данными в базе данных, можно использов...

Сбер открыл доступ к API чат-бота GigaChat для создания некоммерческих проектов без дополнительной оплаты Команда СберБанка открыла доступ к API фирменной генеративной нейросети GigaChat. Как отмечает пресс-служба, компании, предприниматели и разработчики теперь могут воспользоваться открытым доступом к программному интерфейсу GigaChat для некоммерческих задач, связанных с ...

Формализуем процесс создания нового API в микросервисах на .NET Мы работаем с ИТ-продуктами в сфере логистики и e-commerce. Большинство таких проектов крупные с точки зрения архитектуры – включают в себя множество сервисов, необходимых для исправной работы целостных систем. Поговорим о том, как организовать взаимодействие микросерви...

В России создали систему мониторинга здоровья коров в реальном времени В министерстве науки и высшего образования РФ сообщили, что ученые Федерального научного агроинженерного центра ВИМ разработали новую систему для отслеживания здоровья крупного рогатого скота. Система работает на основе специальных сенсоров, которые устанавливаются в желудке...

АвтоВАЗ теряет позиции на российском рынке под натиском китайских брендов, согласно данным банка «Открытие» Российский автогигант АвтоВАЗ столкнулся с серьезными вызовами, поскольку китайские автопроизводители продолжают отвоевывать долю рынка в России. По данным экспертов банка «Открытие», совокупная доля китайских марок уже превысила 50% отечественного авторынка...

Магическое ускорение работы моделей с помощью самогонного аппарата Вы когда-нибудь задумывались о том, что у человеческого мозга есть ограниченная емкость и вы можете выучить этот чертов английский просто потому что в детстве запомнили слишком много покемонов? Или почему обучение с учителем гораздо эффективнее, чем самостоятельное?Эти вопро...

Детектирование атак на контейнеры с помощью eBPF Привет, Хабр!Меня зовут Илья Зимин, я аналитик-исследователь угроз в компании R-Vision. Сегодня в статье я расскажу о возможностях обнаружения атак на контейнеризированные приложения с помощью такого инструмента, как eBPF, на примере приемов, связанных с побегом из Docker-ко...

Препарируем Wazuh. Часть 2: Подключаем источники В первой статье мы начали рассмотрение решения с открытым кодом Wazuh. Мы развернули систему в конфигурации All In One, то есть все компоненты находятся на одном узле. В этой статье мы продолжим настройку нашего SIEM. Конечно, после установки он уже не совсем бесполезен, так...

[Перевод] NumPy: оттачивайте навыки Data Science на практике В этой статье мы рассмотрим ряд различных упражнений, используя библиотеку NumPy (и сравним с тем, как мы бы реализовали их без неё). В самом конце статьи я приведу ряд упражнений.t.me/ai_machinelearning_big_data -  моем телеграм канале я публикую актуальные проекты ку...

Жажда скорости. Сравниваем работу Hashcat на ВМ, ПК и ноутбуках с разными CPU и GPU Безответственное отношение к учетным данным — проблема, которая встречается часто и даже в крупных компаниях. Вот почему важно проводить аудиты «‎стойкости» паролей сотрудников. Один из вариантов такой проверки — прогон учетных данных по утекшим базам через хэши. Но обычно п...

Математика наклона в картах, или как мы сделали небо Недавно в карте 2ГИС появились небо и туман, которые можно увидеть, увеличив масштаб и наклон. В статье расскажу, для чего нам понадобились эти фичи, с какими сложностями столкнулись в процессе исследований и как в итоге реализовали нужную функциональность. Читать дале...

Restricted IO в Haskell В статье описывается механизм создания собственного модифицированного варианта монады IO в Haskell, с ограничениями операций ввода-вывода.Хорошим тоном организации структуры любой программы на Haskell считается разделение кода на блоки, выполняющие IO операции ввода-вывода и...

Бесплатные курсы для изучения SQL в 2024 году Изучение SQL в 2024 году остается важным для по нескольким причинам:1. Широкое применение: SQL является стандартным языком для работы с реляционными базами данных, которые широко используются в различных отраслях. Большинство предприятий и организаций все еще хранят свои дан...

Спутники будущего: автономность ИИ и облачная система станут реальностью Главный исследователь в исследовательском центре SmartSat Cooperative Research Centre (CRC) утверждает, что будущие спутники будут иметь возможность принимать самостоятельные решения, будут оснащены искусственным интеллектом и смогут работать в собственной «облачн...

Уже поменяли шину? Наш опыт «переобувания» и разработки интеграционной платформы Хабр, привет! На связи Дмитрий Бадулин, я занимаюсь разработкой ПО в компании К2Тех. Корпоративная сервисная шина, или как это по-другому называется, интеграционная платформа — это отдельная боль для множества компаний. И сегодня в условиях, когда некоторые middleware-решени...

[Перевод] Прекратите клепать базы данных В жизни каждого инженера-фронтендера наступает момент, когда осознаёшь: далее не обойтись без кэширования данных из API. Всё может начаться с самых невинных вещей: сохраняем предыдущую страницу с данными, чтобы кнопка «Назад» срабатывала мгновенно; реализуем простенькую логи...

Как автоматизировать проверки данных в Airflow с Great Expectations Привет, меня зовут Дима Курганский, и я - MLOps инженер в команде машинного обучения в Банки.ру. Эта статья будет интересна, тем кто понимает принципы работы с Great Expectations и его составляющие компоненты и хочет вывести его на прод с использованием Apache Airflow. Читат...

Торговый бот на Python с нуля (с использованием Binance API), часть 2 Продолжение первой части статьи о создании торгового бота на python с нуля с использованием Binance API!В данной статье мы напишем полностью рабочую реальную стратегию с использованием биржевых данных. Я расскажу что такое линии Боллинджера, а также о других популярных страт...

Microsoft исправила функцию Excel, которая ломала научные данные В 2020 году ученые решили просто переработать буквенно-цифровые символы, которые они использовали для обозначения генов, вместо того, чтобы пытаться разобраться с функцией Excel, которая интерпретировала их данные как даты и автоматически переформатировала их. На днях ч...

Заменят ли LLM людей в разметке данных для AI? Привет! Использование ИИ в разметке данных для него же — уже скорее необходимая потребность, нежели что-то удивительно новое. Разного рода экспериментами с авторазметкой данных нейронками мы занимаемся последние полгода и результаты — нравятся.В данной статье я детально расс...

Предсказание остановок оборудования с использованием LSTM и Байесовского подхода Привет, дорогие читатели Хабра! Исследования выполнено в рамках выпускного проекта на курсе Machine Learning Advanced в OTUS. Рецензенты проекта - @bekemax, @stureikoДанные были предоставлены ПАО «Северсталь» для хакатона ЛИДЕРЫ ЦИФРОВОЙ ТРАНСФОРМАЦИИ 2023В проекте разв...

Яндекс открывает крупнейший русскоязычный датасет отзывов на организации Сегодня мы хотим поделиться новостью для всех, кто занимается анализом данных в области лингвистики и машинного обучения. Яндекс выкладывает в открытый доступ крупнейший русскоязычный датасет отзывов об организациях, опубликованных на Яндекс Картах. Это 500 тысяч отзывов со ...

Записки технического руководителя проектов Статья была написана мной в 2020 году, после запуска в прод очередной платформы, построенной на микросервисной архитектуре с целью зафиксировать выученные уроки с точки зрения технического руководителя проекта. В проектах участвовало со стороны подрядчика более 300 человек т...

В 2024 году смартфоны сильно изменятся. Ждем массовое развитие ИИ и нейросетей Искусственный интеллект в смартфоне в ближайшее время должен стать не просто массовым, но и очень качественным. Компания Google продемонстрировала наиболее серьезные на сегодня возможности искусственного интеллекта в телефонах на базе Tensor G3, предложив набор интересных ф...

Получаем спутниковые координаты GPS/ГЛОНАСС с помощью модуля SIM868 на Repka Pi Сегодня уже трудно найти человека, который не знает, что такое навигатор и GPS-координаты. В этой статье мы расскажем о том, как встроить функции навигатора в устройство, собранное на базе микрокомпьютера Repka Pi. Для получения координат мы будем использовать модуль GSM/GPR...

[Перевод] Как я ускорил QEMU в 10 раз с помощью небольшого фокуса NixOS широко использует виртуальные машины на базе QEMU для запуска своего набора тестов. Чтобы не генерировать образ диска для каждого теста, тестовый драйвер обычно загружается с помощью ресурса Plan 9 File Protocol (9p) (сервер, реализованный QEMU) для Nix Store, который ...

Векторизация изображений. Как создать алгоритм поиска похожих изображений на Python Многочисленные исследования ученых доказывают, что около 90% информации человек воспринимает через зрение. Изображения являются одним из самых богатых источников информации, которую можно использовать для разнообразных задач, включая классификацию, детекцию объектов, ранжиро...

История создания агрегатора для фриланс бирж Привет, читатель, хочу поделиться своей историей по разработке проекта для сбора фриланс заказов, на данный момент с русских фриланс бирж, реализованных на языке джава, то есть агрегатор. Разработка проекта была начата 15.10.2022. Данная статья будет интересна следующим: опт...

Как работает дедупликация данных в потоке Kafka-to-Kafka? Всем привет, меня зовут Александр Бобряков. Я техлид в команде МТС Аналитики, занимаюсь Real-Time обработкой данных. Мы начали использовать фреймворк Apache Flink, и я решил поделиться на Хабре своим опытом внедрения этой технологии в цикле статей.В предыдущей части «Как исп...

Для работы над неинвазивным глюкометром Apple в своё время создала секретный стартап Avolonte, о котором знало только руководство Большая статья Bloobmerg о планах Apple на сферу здравоохранения включает далеко не только историю о том, как умные часы купертинцев могли бы работать с Android, но в Apple в итоге передумали. К примеру, в статье есть информация о том, чего ждать от Apple Watch в следую...

[Перевод] Как мы уложили компьютерный мультик в 8 кБ В ноябре 2022 года мы задали себе задачку: можно ли запрограммировать анимацию, воспроизводимую в режиме реального времени как обычный короткий мультик, но с условием, что файл должен быть не больше 8 килобайт. При этом цель считалась бы достигнутой, если бы у нас получилась...

Встроенные системы: с какими сложностями сталкиваются разработчики Проектирование встроенных систем подразумевает создание аппаратного обеспечения (печатной платы) и встроенного ПО. На каждом из этих направлений разработчики сталкиваются с неочевидными трудностями – неочевидными прежде всего для заказчиков. Здесь я хотел бы перечислить самы...

Как долго можно пользоваться Айфоном, который перестал получать обновления iOS Одним из главных преимуществ смартфонов Apple перед Андроидом всегда был срок поддержки новыми версиями программного обеспечения. Покупатели Айфонов всегда уверены в том, что их аппараты будут получать обновления iOS достаточно долго. Причем часть новых функций будет доступ...

Внутренний мир: Java NIO Привет, Хабр!Парадигма «неблокируемого ввода/вывода» заинтересовала меня с того момента, как я о ней услышал. Идея возможности вызвать операцию чтения без блокировки вызывающего потока довольно привлекающая сама по себе. Как известно, неблокируемый ввод/вывод был реализован...

Фреймворки Gymnasium + Stable-Baselines 3, VizDoom и платформа SMAC в геймдеве RL (Reinforcement Learning) или же обучение с подкреплением — это удивительный подход к обучению искусственного интеллекта, который позволяет игровым персонажам или ботам учиться, исходя из собственного опыта. В основе обучения с подкр...

Edge ML для людей с ограниченными возможностями С развитием технологий появились новые возможности для людей с ограниченными возможностями. Edge Machine Learning (Edge ML) представляет собой передовую технологию, которая приближает алгоритмы машинного обучения к источнику данных, что сокращает задержку и улучшает возможно...

Построение пайплайна обработки данных в реальном времени с использованием Python Привет, Хабр!Обработка данных в реальном времени стала важной составной частью современного мира. Бизнес, исследователи, разработчики и многие другие специалисты сталкиваются с необходимостью обрабатывать потоки данных в реальном времени, чтобы принимать решения быстрее и б...

Порядок создания технического задания для разработки информационной системы Привет, Хабр! Часто приходится разрабатывать информационные системы разной сложности и в один момент решил написать порядок действий (инструкцию) для данного действа . Я прекрасно понимаю, что она неполная и написана c точки зрения системного аналитика, но надеюсь ,что конст...

МРЭМ – 200. Электронный микроскоп родом из СССР. Цифровизация захвата изображения В 2020 году я опубликовал  здесь статью, в которой описал свой советский растровый микроскоп МРЭМ-200  1987 года выпуска. Мне было приятно, что статья вызвала большой интерес и помогла мне познакомиться с  людьми со схожими увлечениями.Хочу рассказать о дальне...

Архитектура, планирование и реализация DMA в микроконтроллерах Synergy Здесь мы продолжаем развитие платформы нашего ПЛК под названием PLCS7 на базе модуля с микроконтроллером семейства Synergy S7FS2. В этом ПЛК ввод-вывод в основном выполняется через микросхемы расширители IO с последовательными каналами связи. Программный байтовый обмен с та...

Mimesis: идеальное решение для генерации данных Сбор данных имеет решающее значение для каждого проекта, связанного с машинным обучением. Однако не всегда искомые данные существуют или общедоступны. Во многих случаях получение данных является дорогостоящим или затрудненным из-за внешних условий. Кроме того, прав...

Передаем данные с одноплатника Repka Pi (или Raspberry Pi) в интернет по GSM связи через модуль SIM868 и GPRS протокол Всегда ли вы берете с собой смартфон? Наверное да, ведь это удобно, когда под руками есть все каналы связи.Но что, если вы собираете автономно работающее устройство с микрокомпьютером, такое как как радиоуправляемый вездеход, робот присутствия, устройство управления шлагбаум...

MyBatis «на минималках» Привет, Хабр! Меня зовут Пётр Гусаров, я Java‑программист в CDEK. В этой статье расскажу про не очень распространённый фреймворк MyBatis. Почему MyBatis? Потому что мы в CDEK используем его в большинстве проектов, и в деле он весьма не...

[Перевод] Как заново реализовать тетрис Я из тех программистов, кому нравится всё реализовать самостоятельно. Нет, я не имею в виду, что не доверяю работе, сделанной другими. Скорее, я полагаю, что, если сделаю что-нибудь сам, то из этого будет гораздо больше толку, чем если просто взять чужую реализацию. Наприм...

Собираем метрики Node.js приложений в PM2 с экспортом в Prometheus Ни для кого не секрет что для устойчивой и надежной работы node.js приложений необходимо проводить мониторинг их работы и делать полезные выводы глядя на их метрики. Это означает, что вы способны получать информацию о состоянии до возникновения проблем, таким образом, предот...

Как deep learning помогает в разработке персонализированной терапии рака? Специалистам в области технологий и медицинских инноваций посвящается новое слово в борьбе с раком – применение глубокого обучения, использованное исследовательской командой университета Джона Хопкинса для индивидуального анализа генетических данных пациентов. В мире, где он...

Почему компании не нужен архитектор Программируя в течение 20 лет, я очень часто слышал об архитектуре и архитекторах. При этом с архитектурой проектов работать приходилось постоянно, а живых архитекторов не видел никогда. Да, в командах всегда были сильные разработчики, которые следили за развитием отрас...

Основы репликации в Kafka Привет, Хабр!Репликация в Apache Kafka - это механизм, который обеспечивает доступность и надежность в обработке потоков данных. Она представляет собой процесс дублирования данных с одной части темы в другие, называемые репликами. В этой статье рассмотрим основы репликации в...

DIY: Ваше собственное облако на базе Kubernetes (часть 1) Мы очень любим Kubernetes и мечтаем чтобы все современные технологии поскорее начали использовать его замечательные паттерны.А вы когда-нибудь задумывались о том чтобы построить своё собственное облако? Могу поспорить что да. Но можно ли это сделать используя лишь современны...

Теком анонсировал новую версию SRT agent с поддержкой SDI Новая версия приложения позволит принимать видеопоток по SDI в реальном времени и конвертировать его для передачи на дальние расстояния, в том числе в несколько точек назначения.

[Перевод] Кастомизация бессерверных функций без применения промежуточного ПО Когда пишешь код для серверного API, часто требуется проделывать схожие шаги: аутентифицировать пользователей, уточнять их роли и выставленные флаги функций, т.д. В большинстве фреймворков для бэкенда безупречно организовано взаимодействие с обработчиками запросов. Часто так...

Выстраиваем процессы команд разработки: кейс и практические рекомендации Работа команды изначально строится вокруг определенных правил и паттернов. Но при увеличении пула задач, их сложности и количества задействованных в проектах команд все нередко начинает скатываться к хаосу, при котором специалисты на местах перестают понимать, что и зачем де...

Выстраиваем процессы команд разработки: кейс и практические рекомендации Работа команды изначально строится вокруг определенных правил и паттернов. Но при увеличении пула задач, их сложности и количества задействованных в проектах команд все нередко начинает скатываться к хаосу, при котором специалисты на местах перестают понимать, что и зачем де...

iPhone вылетел из топ-5. Продажи на китайском рынке выросли впервые за 11 кварталов Поставки смартфонов в Китае в первом квартале составили 63,3 миллиона единиц, что на 1% больше, чем в прошлом году. До этого в течение 11 кварталов поставки постоянно снижались. Данные, опубликованные исследовательской организацией TechInsights, показали, что в первом к...

Signal Integrity of DDR4 Доброго времени суток! Наверное, вы все знакомы с компьютерной оперативной памятью DDRx (где x - поколение). Я бы хотел вам рассказать о ней с точки зрения SI (Signal Integrity - целостность сигналов) и принципов трассировки этого интерфейса. Читая документацию на различны...

YouTube TV представляет Multiview для Android YouTube TV анонсировал функцию Multiview, которая позволяет пользователям одновременно наблюдать сразу за несколькими видеопотоками на своих мобильных устройствах. Эта инновация, доступная теперь и для Android, дает зрителям небывалый уровень контроля и вовлеченности, не тре...

SPARK для «малышей» Примеры кода на Python для работы с Apache Spark для «самых маленьких» (и немного «картинок»).Данная статья представляет собой обзор основных функций Apache Spark и рассматривает способы их применения в реальных задачах обработки данных. Apache Spark — это мощная и гибкая си...

На что способны виртуальные потоки Java в обработке файлов Привет, Хабр!ПредисловиеНачнем с того,что я не специалист по Java и у меня нет коммерческого опыта на этом языке. Я просто обычный кодер, который по вечерам пилит проекты на Java, а основной мой стек состоит из PHP и смеси Python + Go. В данной статье хочу с вами поделиться ...

Почему главная функция iOS 18 не появится на старых Айфонах и что это будет Уже ни для кого не секрет, что в iOS 18 будет интегрирован искусственный интеллект. Большая часть функций, которые появятся в новой версии операционной системы Apple, будет завязана именно на его возможностях. Однако всё может испортить скорость работы. Если iPhone будет ис...

Нужна колония на Луне и Марсе, но с минимумом “посылок” с Земли? Ученые NASA надеются на роботов-строителей Отправка полезного груза весом всего в 1 кг на Марс - задача решаемая, но очень дорогая. Обойдется решение в 2,4 млн долларов США, судя по проекту Perseverance. И это ведь лишь научно-исследовательская миссия. А что, если понадобится построить город или хотя бы станцию для к...

Выявление схожести между произведением искусства из коллекции музея и работами автора методами ML Идею работы: «Похоже ли произведение искусства из коллекции музея на работы автора?» я придумала под датасет Музея MoMa. Конечно, хотелось бы установить: оригинал или подделка? Но для ответа на такой категоричный вопрос данных оказалось недостаточно.У проекта было несколько ...

Пермский политех разрабатывает систему автоматизированного контроля 3D-печати металлами Проект ученых Пермского национального исследовательского политехнического университета (ПНИПУ) подразумевает использование нейросетей и систем машинного зрения для автоматизированного контроля качества при 3D-печати методом наплавления металлической проволоки.

Потоковая обработка данных: анализ альтернативных решений Всем привет! Я Алексей Пономаревский, разработчик решений для платформ сбора и обработки больших данных.Два года назад мы в ITSumma создали решение для потоковой обработки данных с помощью Apache Spark и базы данных Greenplum — spark-greenplum-connector. Это многофункциональ...

[Перевод] GPU-вычисления в браузере на скорости нативного приложения: марширующие кубы на WebGPU WebGPU — это мощный GPU-API для веба, поддерживает продвинутые рендеринговые конвейеры и вычислительные конвейеры GPU. WebGPU ключевым образом отличается от WebGL своей поддержкой вычислительных шейдеров и буферов хранения данных. В WebGL такие возможности отсутствуют, а Web...

Продуктовый подход к pet-проекту или как я разработал музыкальное веб-приложение Что вам может дать продуктовый подход к pet-проекту? Если смотреть на pet-проект не как на лабораторную работу, а как на будущий продукт, начинаешь лучше понимать весь цикл разработки. При таком подходе ты сперва выступаешь в роли заказчика: определяешь, какую задачу пользов...

Как приручить нейросеть: практический опыт Итак, в прошлой статье я уже немного рассказывал о том, что с LLM можно работать и даже построить определенный RAG. Как и обещал, перейдем к практике! :)Сегодня мы будем делать простейший локальный и приватный RAG для работы с базой знаний. Все это будет проходить без погруж...

Неструктурированные данные: что это, в чем их опасность и как защититься? Объемы, разнообразие, а главное, ценность информации продолжают расти. Особенно выделяются неструктурированные данные, которые не имеют четкой организации, структуры или формата. Этим они отличаются от структурированных данных, которые обычно хранятся в базах данных и подчин...

«Конкурентные преимущества»: избранные материалы для разностороннего подхода к проектированию технологических решений Возвращаюсь к экспериментам с подборками полезных источников. Подобрал материалы, которые помогут увидеть нестандартные ходы и найти конкурентные преимущества с точки зрения стратегии развития вашей организации и ее технологических решений.Пригодится не только топ-менеджерам...

Материалы для подготовки к собеседованию на позицию Data Scientist. Часть 3: Специализированное машинное обучение Привет! Меня зовут Артем. Я работаю Data Scientist'ом в компании МегаФон (платформа для безопасной монетизации данных OneFactor). В предыдущей статье я поделился материалами для подготовки к этапу по классическому машинному обучению.В этой статье рассмотрим ма...

Что такое Data diode и зачем он нужен? Представьте, что у вас есть две сети, которые необходимо защитить от несанкционированного доступа, ddos-атак и утечек информации, но в то же время нужно передавать данные между ними. Здесь и приходит на помощь Data diode. Data diode (диод данных) или однонаправленный шлюз...

Хорошие новости для кожаных мешков: мы пока еще в деле У меня уже давно было убеждение что профессии, которые нейронные сети смогут заменить позже всего — это профессии, связанные с аналитикой и исследовательской работой. В самой этой мысли, конечно, ничего удивительного нет, удивительно то, на сколько самые крутые языковые моде...

Внутренний Я(ндекс) В этой статье я хочу описать (часть) моего опыта взаимодействия со структурой, именуемой в дальнейшем "яндекс", с точки зрения работника. Опишу собеседования и этап "входа".Да, уже были статьи про собеседование и даже в эту же структуру, некоторые из них я видел, но не во вс...

FineBI: Обработка данных для начинающих пользователей Хабр, привет!На связи команда Business Intelligence GlowByte. Да-да, те самые неугомонные, которые создали самое крупное русскоязычное сообщество FineBI, проводят обучения, собирают дайджесты и ежегодно организуют масштабные конференции. Меня зовут Александр, я руководи...

Мобильный скоринг: в поисках новых точек роста Крупнейшие банки доработали свои скоринговые модели до такого уровня точности, который сложно повысить внешними данными, а значит, ключевым показателем эффективности стал uplift от партнёрства с телеком-операторами. Какую роль здесь могут сыграть сырые данные и LLM и какой ...

Клетка ХV. Картирование типов клеток Изучение человека в настоящее время проводится множеством разных наук известными и новыми методами и весьма интенсивно. В мире осуществляются многомиллиардные исследовательские проекты. Изучаются геном, протеом, транскриптом человека, мозг человека и другие составляющие орга...

Внедрение электроники с ИИ в космические корабли невозможно – нужна спецподготовка Применения искусственного интеллекта и машинного обучения для космических проектов на данный момент ограничиваются работами на Земле, поскольку перемещение ИИ на борт спутников, хотя и многообещающее, но значительно сложнее.

Сетевой мультитул для ИТ и ИБ специалистов: zero-skill создание Telegram чат-бота с помощью ChatGPT Привет, Хабр! Меня зовут Руслан, я – инженер по сетевой и информационной безопасности в компании-интеграторе STEP LOGIC. Решаю различные задачи, связанные с настройкой и поддержкой сетевого оборудования в компьютерных сетях, работаю над проектами, требующими планировани...

Airflow в Kubernetes. Часть 1 Приветствую!На пути инженера данных часто встречаются задачи связанные с DevOps. Одна из таких - развернуть Airflow в Kubernetes кластере. Если до этого похожего опыта работы не было, то эта задача может показаться нетривиальной. Конечно, можно выполнить несколько команд из ...

Виртуальная клавиатура на Python+OpenCV В данной статье разберемся, как написать виртуальную клавиатуру, используя Python+Opencv.Идея заключается в создании виртуальной клавиатуры, выводе на экран и возможности ее использования. Подразумевается, что клавиатура будет работать с текстовыми редакторами. Для того, что...

Big Data в облаке: строим доступное хранилище За последние годы «большие данные» стали восприниматься более гибко и могут включать в себя объемы, которые ранее не рассматривались как «большие». При этом снизились затраты на хранение и обработку информации. Теперь инструменты работы с данными подобных масштабов доступны ...

Как ошибки проектирования при разработке на Symfony могут привести к перерасходу ресурсов и замедлению работы системы Сегодня хочу рассказать о том, какие ошибки можно допустить на начальном этапе создания e-commerce проекта в проектировании модели данных и в разработке веб-приложения. И, самое главное, как эти ошибки исправить: снизить потребление памяти в 1000 раз и кратно уменьшить нагру...

Машинное обучение помогло выявить взаимосвязь между ростом черных дыр и эволюцией их родительских галактик Вселенная наполнена сверхмассивными чёрными дырами, и наша галактика не исключение. Однако до сих пор существует много вопросов, связанных с тем, как они становятся такими огромными и какие процессы лежат в основе их эволюции. Одной из трудностей, с которой сталкиваются...

Сферический коммивояжёр в вакууме и в реальной жизни Некоторое время назад я участвовал в разработке приложения для фирмы, работающей в сфере транспортной логистики. Поскольку в тот момент фирма только начинала свою активную деятельность, многие процессы были еще не автоматизированы, и менеджер каждый вечер тратил два часа сво...

Используем Elasticsearch вместе со Spring Boot Всем привет! Это моя первая статья на Хабре и в ней я хочу рассказать о том, как мы можем интегрировать Elasticsearch в наше Spring Boot приложение. Этот проект предназначен для ознакомления с технологиями и служит скорее шпаргалкой/пособием или же фундаментом для дальнейшег...

Точка касания, или Как выстроить коммуникацию между командами внутри компании Работа в крупных компаниях — это не только ДМС и корпоративный мерч. Это большой поток информации, связанный и не очень с дизайном. Чтобы приступить к проекту, нужно раскопать документацию, пообщаться с командой, поисследовать гипотезы. В корпорациях проект может длиться нес...

Дообучение saiga2_7b_lora Дообучение 7-миллиардной модели Saiga2 под свои задачи, используя сгенерированный датасет с помощью GPT. В данной статье есть все необходимые ссылки и код для предобработки и запуска обучения модели, а также квантования модели. Читать далее

Cotea: программный контроль исполнения Ansible Привет! Я Давид Бадалян, работаю в Исследовательском центре доверенного искуственного интеллекта ИСП РАН. В статье я хочу поговорить об Ansible – одной из самых популярных систем по автоматизации развёртывания. Стоит запустить Ansible программно, и он становится черным ...

PostgreSQL и временные таблицы Мы много лет уже используем в качестве основной базы данных PostgreSQL. За это время он зарекомендовал себя быстрой и надежной СУБД. Однако, есть в PostgreSQL одна проблема, с которой приходится сталкиваться достаточно часто. К сожалению, реализация логики временных таблиц в...

Картографический фотопроект «По местам съёмок фильма «Брат 2» Проект начал делать в 2022 году, параллельно с проектом по первой части фильма. Во второй части многие локации пришлось искать вооружившись Яндекс и Гугл панорамами. Около полугода искал человека, который сделает фото в Чикаго. С технической точки зрения ничего не поменялос...

[Перевод] Важные аспекты Unicode, о которых должен знать каждый разработчик JavaScript Должен признаться: на протяжении очень долгого времени я испытывал страх перед Unicode. Когда была необходимость в работе с Unicode, я предпочитал искать альтернативные пути решения, поскольку не совсем понимал, что делаю. Я старался избегать работы с Unicode до тех пор, п...

Как мы создавали self-service функционал проверки качества данных для ML-моделей Привет! Продолжу рассказ о том, как мы превращаем банк в "биг дата" - организацию. Очевидно, что чем больше данных использует компания, тем больше зависит от их качества. Но, зачастую, вопросам качества данных при разработке витрин уделяется недостаточно внимания. Это связ...

Свободные лицензии на программное обеспечение В университете у нас был отличный курс про лицензиям на программное обеспечение. Вёл его бывший программист, который переквалифицировался в юриста. Одним из домашних заданий было спарсить с гитхаба лицензии на определённый софт и проверить их совместимость. Спарсить эти лице...

Как сделать Kubernetes еще круче: секреты безупречной работы Отказоустойчивость информационных систем необходима для обеспечения непрерывности работы системы и минимизации возможности потери данных в случае сбоев или отказов в работе оборудования. Это особенно важно для критических для бизнеса систем. Мы начали использовать геора...

Вступление в мир разработки игр Исследуйте путь профессионала в области машинного обучения и его команды, погружаясь в разработку мобильных игр. Статья рассказывает о переходе от участия в соревнованиях на Kaggle к созданию мобильного приложения «Угадай фильм». Узнайте о проблемах разработки MVP для Androi...

Samsung Galaxy Ring будет советовать режим питания Компания Samsung представила умное кольцо Galaxy Ring на мероприятии MWC 2024, но мало рассказала о том, какие именно функции будут реализованы в этом устройстве нового поколения. Но, к счастью, сегодня западные журналисты рассказали об одной из ключевых функций гаджета — ре...

[Перевод - recovery mode ] Как работает etcd с Kubernetes и без него Если вы когда-либо взаимодействовали с кластером Kubernetes, скорее всего, он был основан на etcd. etcd лежит в основе работы Kubernetes, но несмотря на это, напрямую взаимодействовать с ним приходится не каждый день.Этот перевод статьи от learnk8s познакомит вас с принципам...

Дайджест полезных находок, инструментов, статей и видео из мира машинного обучения Каждую неделю мир машинного обучения наполняется новыми открытиями, проектами и статьями, которые не только вдохновляют дата саентистов, но и расширяют горизонты знаний. В этой статье мы собрали для вас подборку самых интересных и актуальных материалов недели, которые помогу...

А что если обучать нейросети через речь, а не текст? Устная речь человека — уникальная по своей сложности система коммуникации. Ещё не изучено полностью, как язык работает на уровне человеческого мозга. Но мы знаем, как его осваивают дети, и с появлением технологий глубокого обучения (deep learning) мы впервые можем смоделиров...

[Перевод] Как работает сеть в контейнерах: Docker Bridge с нуля В этой статье мы собираемся разобраться со следующими вопросами:* Как виртуализировать сетевые ресурсы, чтобы контейнеры думали, что у них есть отдельные сетевые среды?* Как превратить контейнеры в дружелюбных соседей и научить общаться друг с другом?* Как выйти во внешний м...

Даёшь вдвое больше искусственно дорисованных кадров в играх! Технологии генерации кадров в Nvidia DLSS 3 и AMD FSR 3 заставили работать вместе Апскейлеры Nvidia DLSS и AMD FSR имеют собственные варианты технологии генерации кадров, которые и работаю по-разному, и доступны на разных видеокартах. Но оказалось, что можно заставить эти технологии работать вместе.  Авторы из QuasarZone решили проверить, получ...

SDR приемник GPS на микроконтроллере В этой статье я расскажу о том, как я делал самодельный SDR GPS приемник на микроконтроллере. SDR в данном случае означает, что приемник не содержит готовых GPS-модулей или специализированных микросхем для обработки GPS сигналов - вся обработка "сырых" данных выполняется в р...

Google лишила Pixel 8 очень важной функции Поддержка вывода изображения посредством кабеля на современных смартфонах — это, безусловно, то, на что стоит обратить больше внимания крупным брендам. Например, сегодня появилась информация, что серия смартфонов Pixel 8 действительно поддерживает режим DisplayPort Alternate...

Собирать данные VS интерпретировать их: типичные ошибки в e-commerce аналитике Каждый день мы собираем больше 200 ГБ данных о клиентах Lamoda, которые листают сайт и делают заказы. Но красивые цифры про наше хранилище — это одно, а правильные выводы из данных — совсем другое.Меня зовут Александр Айваз, я руковожу командой Data & Analytics в Lamoda ...

Применение нейросетевых подходов для формирования признаков в моделях Наша команда Графовой аналитики стрима Моделирование КИБ и СМБ занимается различными исследовательскими задачами для двух основных направлений: риск- и бизнес-моделирования. В данной статье мы расскажем о том, как продвинутые подходы машинного обучения, в частности нейронные...

Дообучение ruGPT-3.5 13B с LoRA Добрый день, уважаемые читатели и авторы Хабра!Сегодня я рад представить вам подробное руководство по обучению модели ruGPT-3.5 13B с использованием датасетов модели Saiga-2/GigaSaiga, технологии Peft/LoRA и технологии GGML. Эта статья призвана стать полезным и практичным ре...

Voyager 1 перестал передавать данные на Землю Межзвездная сонда Voyager 1, запущенная NASA 46 лет назад, перестала отправлять полезные данные на Землю, что вызвало новые сложности для агентства.

Модернизированные истребители пятого поколения F-35 всё ещё летают с сырым программным обеспечением В связи с этим Пентагон не может приступить к их приёмке.

Что такое генераторы статических сайтов и почему Astro — лучший фреймворк для разработки лендингов Всем привет! Недавно я решал задачу разработки сайта-лендинга для собственного проекта. У лендинга должна была быть админка, то есть данные для его содержимого должны были храниться и редактироваться на сервере. Поэтому я искал современный и мощный инструмент для генерации с...

В России начали поставки оборудования нового поколения для суперкомпьютеров «Росэлектроника», входящая в состав Ростеха, начала поставки оборудования нового поколения для создания суперкомпьютеров. Об этом рассказала пресс-служба госкорпорации.  Сгенерировано нейросетью Dall-E Оборудование стало более компактным по сравнению с...

Как можно использовать .NET из Javascript (React) в 2023 году Статья показывает опыт использования .NET из JavaScript (React) с помощью компиляции .NET кода в WebAssembly с помощью новых возможностей .NET 7. Включает инструкцию по созданию проекта для .NET для использования из Javascript, и интеграции его в веб-приложение, написанного...

[Перевод] Управляемое данными тестирование с использованием Cucumber Тестирование на основе данных позволяет сократить объем ручных действий, необходимых для проведения тестирования, а также упростить управление и сопровождение тест-кейсов. В целом использование тестирования на основе данных позволяет повысить качество программного обеспечени...

В этом месяце Microsoft представит Surface Pro 10 OLED и Surface Laptop 6 ARM Уже в этом месяце Microsoft представит новые Surface Pro и Surface Laptop, которые должны навязать конкуренцию iPad Pro и MacBook Pro с точки зрения производительности и энергоэффективности. Об этом сообщает редактор Windows Central Зак Боуден со ссылкой на собственные исто...

Cisco TRex на практике В этой статье описывается процесс работы с программным генератором сетевого трафика TRex. Этот инструмент предназначен для генерации различных типов сетевого трафика и анализа данных в режиме реального времени. Trex поддерживает работу на уровнях MAC и IP, позволяя пользоват...

Делаем из Black Box мониторинга внешнее observability Есть мнение, что Black Box подход к мониторингу хуже, чем White Box. Мол, мы получаем от него мало информации. Данных действительно немного, но мы можем развить нашу систему Black Box мониторинга и добиться довольно информативной системы контроля, которую мы условно назвали ...

Яндекс запустил первую умную камеру для путешественников Команда Яндекса объявила о запуске нового сервиса на площадке «Яндекс Путешествий». В приложении появилась умная камера, с помощью которой пользователи могут узнать, какая перед ними достопримечательность или интересный экспонат. Как подчеркнули в пресс-служ...

Космический зонд Psyche отправил своё первое космическое фото на пути к металлическому астероиду 4 декабря стало важным днём для зонда Psyche, когда он «распахнул свои глаза»  на Вселенную. С момента запуска на ракете SpaceX Falcon Heavy 13 октября (первая межпланетная миссия Falcon Heavy) Psyche путешествовал сквозь просторы космоса во мраке, поск...

[Перевод] Почему реактивность без VDOM (с реальным DOM) лучше, чем реактивность с VDOM? Всем привет! В этой статье я хотел бы поделиться своими мыслями о том, почему виртуального DOM можно избежать при создании реактивности сегодня. Я работаю со всем этим уже около полутора лет, создавая фреймворк Cample.js, и у меня есть некоторые соображения по этому поводу. ...

Отзыв о книге Кристофера Негуса «Linux Библия» Попала мне в руки на некоторое время 10-е издание книги Кристофера Негуса «Библия Linux». Поскольку в повседневной деятельности мне приходится работать с системами под управлением различных дистрибутивов, работающих на базе GNU/Linux, столь...

Семантический поиск и генерация текста на R. Часть 1 Для этой задачи использую LLM (Large Language Models - например, chatGPT или opensouce модели) для внутренних задач (а-ля поиск или вопрос-ответную систему по необходимым данным).Я пишу на языке R и также увлекаюсь NLP (надеюсь, я не один такой). Но есть сложности из-за того...

Как составить договор с помощью нейросетей В наше время технологии искусственного интеллекта все шире внедряются в различные сферы человеческой деятельности, включая юридическую практику. Одним из наиболее заметных примеров этого является использование нейронных сетей для создания договоров для тех или иных потребнос...

AI-генераторы порно фото: этика, тренды и законодательство В последнее время, AI-генераторы порно фото стали частью большого обсуждения в сфере искусственного интеллекта, и порно индустрия не исключение. Интерес к этой теме растет, как и количество споров вокруг неё. AI-генераторы порно фото — это программы, использующие алгоритм...

Где искать работу Дата Саентисту в 2024 году В настоящее время профессия дата-саентиста является одной из самых востребованных и перспективных. С развитием технологий и увеличением объема данных, специалисты в области анализа данных становятся незаменимыми для компаний всех отраслей. Однако, в 2024 году сфера науки о д...

CPM vs. BI:  о чем не расскажут продавцы Более восьми лет я специализируюсь на внедрении CPM и BI-систем различных вендоров. Несмотря на то, что во многом их функционал пересекается, мне хорошо понятно, какие задачи решаются лучше, а какие решаются только одним из этих двух классов систем.Написать данную статью мен...

Краткий обзор TinyML TinyML сам по себе означает внедрение ml в маломощные микроконтроллеры и встроенные системы. Это устройствам IoT выполнять задачи обработки данных и машинного обучения непосредственно на самом устройстве, минимизируя таким образом необходимость в постоянном подключении к инт...

Как настроить ETL с json’ами в Apache NiFi Привет, Хабр! Меня зовут Сергей Евсеев, сегодня я расскажу, как в Apache NiFi настраивается ETL-пайплайн на задаче с JSON’ами. В этом мне помогут инструменты Jolt и Avro. Пост пригодится новичкам и тем, кто выбирает инструмент для решения схожей задачи.Что делает наша команд...

[Перевод] Как получить плашку совместимости со Steam Deck, не покупая Deck Пару месяцев назад Steam выложил в Steamworks инструмент для разработчиков, позволяющий отправлять игры на сертификацию: Steam тестирует и проверяет игру, а затем решает, совместима ли она с Steam Deck. Так как я уже реализовал в своей игре поддержку геймпадов, то сразу прис...

Жидкостное (водяное) охлаждение для ноутбука своими руками Всем привет!На создание данного колхоза изобретения меня вдохновила эта старая статья на Пикабу. Идея родилась примерно за полгода до создания этой СЖО, навязчивой она стала примерно за месяц до, реализовал я её за неделю-две.В этой статье уважаемый fillgood изобрёл систему ...

[Перевод] Обзор статьи «StreamDiffusion: конвейер для интерактивной генерации в режиме реального времени» StreamDiffusion — это новый диффузионный конвейер для интерактивной генерации изображений в режиме реального времени, позволяющий добиться более высокой производительности для прямых трансляций и других подобных сценариев. Он заменяет традиционное последовательное шумоподавл...

Темпоральные типы в PostgreSQL и их использование Меня зовут Фролков Иван, я работаю программистом с 1993 года, и уже восемь лет — в Postgres Professional. Периодически выступаю на конференциях. В этой статье я расскажу вам про темпоральные типы данных в PostgreSQL — доклад о них я читал на PGConf.Russia 2022. Почему меня э...

Машинное обучение повысило точность оценки солнечной радиации В новом исследовании, опубликованном в журнале Remote Sensing, ученые использовали методы аугментации данных в сочетании с моделью машинного обучения LightGBM для оценки как диффузной, так и прямой солнечной радиации. Этот подход изобретательно использует данные о солне...

Создание простого калькулятора в android studio В данной статье находится лабораторная работа, направленная на создание приложения калькулятора с базовыми функциями в android studio. Читать далее

Книга «System Design. Машинное обучение. Подготовка к сложному интервью» Привет, Хаброжители! Собеседования по проектированию систем машинного обучения — самые сложные. Если нужно подготовиться к такому, книга создана специально для вас. Также она поможет всем, кто интересуется проектированием систем МО, будь то новички или опытные инженеры. ...

MediaTek показала Dimensity 8300. Дешевый чип с флагманскими возможностями ИИ Компании Qualcomm и MediaTek уже анонсировали флагманские процессоры для смартфонов с поддержкой функций генеративного искусственного интеллекта. Как обычно, технологии заходят в наш мир с верхних сегментов, но рано или поздно опускаются в средний и бюджетный. В этот раз эт...

[recovery mode] Развертывание программного комплекса на Asp.net на российских ОС В России все больше пользователей и организаций используют российские Linux системы. Но при подготовке пакетов для комплексных решений на этих системах могут возникнуть сложности, связанные с несовместимостью ПО, необходимостью настройки пакетов и т.д. В этой статье рассмотр...

Использование Symfony / PHP (II) Привет! Я, Андрей, Symfony разработчик - мы делаем сайты. Каждый день мы тратим много ресурсов на администрирование и базовые настройки проектов. В этой статье я продолжаю делиться опытом, как можно адаптировать фреймворк Symfony под свои нужды. Сегодня я расскажу как мы раб...

Основные функции Apache Tomcat Привет, дорогие читатели! Apache Tomcat — это открытое программное обеспечение, реализующее спецификации Java Servlet, JSP и Java WebSocket, предоставляя таким образом платформу для запуска веб-приложений, написанных на языке Java. Разработанный и поддерживаемый Apache Softw...

Временное хранилище данных на Apache Druid: почему это эффективно сработало для загрузки табличных файлов Всем привет! Меня зовут Амир, я Data Engineer в компании «ДЮК Технологии». Расскажу, как мы спроектировали и реализовали на Apache Druid хранилище разрозненных табличных данных.В статье опишу, почему для реализации проекта мы выбрали именно Apache Dr...

Классификация экзопланет (часть I обработка данных) В космосе есть нечто завораживающее и прекрасное, в то же время человек устроен так, что ему если ему что то не известно, то стоит этого бояться (спасибо нашим мамам папам в n-ном поколении за столь широкий диапазон восприятия информации и реагирования на неё), тем не менее ...

Атакуем WiFi или NodeMCU на службе сил зла О макетной плате NodeMCU можно найти немало статей на просторах Хабра. Авторы предлагают управлять шторами, включать освещение и выполнять другие операции с ее помощью для создания умного дома. Однако это небольшое устройство можно использовать и при тестировании на проникно...

Flask для начинающих Как начать работать с FlaskМеня зовут Михаил, и я пишу эту статью специально для начинающих программистов, желающих изучить основы веб-разработки с использованием Flask. Вы новичок в программировании и мечтаете о создании собственных веб-приложений? Эта статья — ваш ключ к ...

Расчет количества газа необходимого для выполнения транзакции в Ethereum. Часть 2 — storage Привет всем! В прошлой статье мы с вами изучили общую механику расчета газа при выполнении транзакций. В этой статье мы сфокусируемся на самых "дорогих" операциях работы с хранилищем смарт-контракта (storage), а также пройдемся по истории EIPs, связанных с расчетом газа в Et...

Windows 11 наконец-то преодолела рубеж в 25% от общего числа пользователей ОС Microsoft Доля новой операционной системы Microsoft, Windows 11, на рынке за последний месяц значительно выросла. Об этом сообщается в свежем отчёте Statcounter.  Сгенерировано нейросетью Midjourney Согласно отчету за октябрь 2023 года, доля рынка Windows 11 поднялась с 23,...

[Перевод] Организация ML-монорепозитория с помощью Pants Приходилось вам копипастить фрагменты вспомогательного кода между проектами, попадая в ситуацию, когда несколько версий одного и того же набора команд оказывались в разных репозиториях? Или, может, вам надо было делать pull‑запросы к десяткам проекто...

Базовый анализ продуктовых фичей Привет, я работаю продуктовым аналитиком и мои задачи, в большей степени, связаны с анализом пользовательского поведения в продукте.Пожалуй, чаще всего, мне приходится работать с разного рода исследованиями. В отдельную категорию можно выделить исследования интерфейсных реше...

Phoenix: разбираемся со сбоями ML системы прямо в вашем ноутбуке Нам до сих пор не до конца понятны некоторые возможности больших языковых моделей. Приложения с большими языковыми моделями должны быть оснащены необходимыми инструментами и оставлять данные о событиях, произошедших в процессе работы. Более того, когда данные собраны, их нео...

Совместная работа в реальном времени: алгоритмы, редакторы и облако Сегодня никого не удивляет онлайн редактирование общего документа, файла или базы данных. Но под капотом сервисов параллельной работы с данными находится большая история. И эта история еще далека от завершения. До облачной синхронизации и онлайн-редакторов сотрудники др...

[Перевод] На пути к 1-разрядным моделям машинного обучения В последнее время активно разрабатываются технологии экстремально малоразрядного квантования, например, BitNet и 1.58 bit. Они пользуются большим интересом в сообществе машинного обучения. Основная идея данного подхода заключается в том, что перемножение матриц с кванто...

[Перевод] 13 инструментов для тестирования методом «чёрного ящика» Инструменты для тестирования методом «чёрного ящика» сосредоточены на анализе входных и выходных данных программного обеспечения, его поведения и функциональности с точки зрения конечного пользователя. Они используются для различных типов тестирования, включая функциональное...

[recovery mode] MindVault: маленькая революция в flash карточных приложениях Здравствуй хабр! Я всегда мечтал создать идеальное приложение для обучения и запоминания информации, пытался понять как в целом работает память, насколько хорошо она может работать, от чего и как это зависит, в этой статье мы посмотрим что на данном этапе я достиг, или быть ...

Строим lineage моделей машинного обучения и признаков с помощью OpenMetadata Привет, Хабр!Мы в билайне любим машинное обучение. В какой-то момент моделей машинного обучения стало так много, что это вынудило нас решать определенные задачи. Я Дмитрий Ермилов, руковожу ML в дирекции по искусственному интеллекту и большим данным. О решении одно...

Как увеличить шрифт так, чтобы контейнер не поехал? Адаптация UI/UX для людей с проблемами зрения в XML и Compose Я — Денис, Android-разработчик в «Лайв Тайпинге». В этой статье я продолжу рассказывать о современных подходах разработки адаптивного UI /UX для людей с ограниченными возможностями, разных национальностей и особенностями развития. В этой статьей я расскажу про разработку инт...

Создание анимированных видео в нейросети Stable Diffusion, пошаговое руководство Друзья, всем привет, даже от меня вы уже не раз слышали, что в нейросетях сейчас можно делать буквально все: создавать тексты, генерировать музыку, делать дипфейки, создавать изображения и даже видео. Раньше генерировать видео можно было только в больших платных проекта...

Стеганография в файлах формата .m4a Стеганография - это искусство и наука передавать сокрытые данные внутри других, не сокрытых данных.Подробнее можно прочитать здесь.Часто, когда говорят о стеганографии, не выходят за рамки LSB в картинках (хотя и в картинках можно сделать нечто более оригинальное ). В д...

Стартап Hivemapper устремился против Google Street View с новым видеорегистратором Bee Стартап Hivemapper, специализирующийся в области картографии, представит новый видеорегистратор в текущем году. По мнению соучредителей, это  ускорит усилия по отвоеванию доли рынка у Google. Камера Hivemapper Bee, которая была анонсирована на прошлой неделе, стане...

Передача контекста и знаний в IT команде Всем привет и добро пожаловать! Данная статья не является научной и не относится к разряду технических, она больше про коммуникации и командные процессы в IT. Это попытка систематизировать реальные практики по передаче контекста и знаний в ...

Векторные базы данных — набирающий устойчивость тренд в разработке систем ИИ или мимолетное увлечение? В блоге beeline cloud на хабре и в нашем технологическом медиа мы разбираем ключевые технологии и принципы работы отрасли. На этот раз мы решили затронуть стремительно растущий рынок машинного обучения, который «тянет» за собой сегмент векторных БД.С одной стороны, технологи...

Искусственный интеллект будет в смартфонах на уровне железа. Спасибо Google и Qualcomm Искусственный интеллект пока не изменил нашу жизнь настолько, чтобы она больше не была такой, как прежде. Но некоторые изменения уже есть, и если правильно пользоваться ими, то все становится намного проще. Было лишь вопросом времени, когда искусственный интеллект появится ...

Топ-3 причины, почему вы должны использовать Copilot Всем привет! Меня зовут Анатолий Барцев, я frontend-разработчик в команде Модерации Циан. Я решил протестировать Copilot, чтобы оценить, полезен ли он для реальной разработки. В статье расскажу, какие выделил для себя плюсы использования, а также покажу, как GitHub Copilot п...

Khronos завершила разработку расширений Vulkan Video для ускоренного кодирования H.264 и H.265 Выпустив Vulkan 1.3.274, Khronos завершила работу над их аналогом: расширениями, позволяющими кодировать видеопотоки H.264 и H.265

Внедрение pet-проекта в реальный бизнес или как в одиночку написать ERP-систему для общепита Всем добра! Данную статью меня побудило написать сильное желание, во-первых, зафиксировать некоторые результаты своего профессионального развития и личного опыта помимо основной работы, а также впервые на столь широкой сцене как Хабр, рассказать вам о нюансах развития своего...

Материалы для подготовки к собеседованию на позицию Data Scientist. Часть 2: Классическое машинное обучение Привет! Меня зовут Артем. Я работаю Data Scientist'ом в компании МегаФон (платформа для безопасной монетизации данных OneFactor).В предыдущей статье я поделился материалами для подготовки к одному из самых волнительных (для многих) этапов - Live Coding.В этой ...

Управление загрузкой с помощью PostgreSQL и pg_headerkit Привет, Хабр!Supabase – это крутой open-source аналог Firebase, с его помощью можно организовать крутые штуки вроде ограничения скорости запросов.Supabase – это инструмент, который дает возможность создавать масштабируемые серверные решения, используя PostgreSQL. С его помощ...

Чем меня удивила умная камера в приложении Яндекс на Android В 2021 году компания Яндекс представила умную камеру Алисы. Это мобильное приложение, которое прокачивает камеру смартфона, превращая ее в универсальный инструмент для поиска информации и решения повседневных задач. С момента выхода программа с искусственным интеллектом зам...

Аналитик за 4 месяца в Автомаконе: почему и зачем? как? где? когда? сколько? Всем привет!Меня зовут Белоусова Александра, я развиваю направление по обучению и стажировкам аналитиков в «Автомакон». Уже полгода в нашей компании проходит отбор и обучение стажеров на системных аналитиков (с сильным «налетом» бизнес-аналитика)! В этой статье расскажу о то...

Как вырастить ИТшника или принстонский Computer Science для школьников Сегодня школьникам разных возрастов предлагается большое количество вариантов реализовать свои навыки программирования: от участия в олимпиадах по информатике и разработки приложений и игр до освоения модных технологий, таких как машинное обучение, и...

PITR в PostgreSQL Привет, Хабр!Cколько раз вы сталкивались с ситуацией, когда что-то пошло не так и вам необходимо было в срочном порядке восстановить данные из бдшки, причем так, чтобы это было максимально близко к определенному моменту в прошлом? PITR – наш герой, спасающий наши нервы. Чита...

Разбираемся с стейблкойном на TON или как ваши средства могут заблокировать 19 апреля на конференции Token2049 после выступления Павла Дурова было объявлено о появлении стейблкойна от Tether в сети TON - USDt. Так как это централизованный стейблкойн эмитент подобного токена должен иметь контроль над средствами пользователей для соответствия требован...

Монтаж уличной ip-камеры и вывод изображения по RTSP (python, raspberry pi) Камеры видеонаблюдения стали для многих стран обыденностью, например в Китае, они могут свисать гроздьями, через каждые 5 метров, по улице. Но в провинции России это все еще может быть в новинку. Я отношусь к видеонаблюдению по большей мере положительно. Ведь вид камеры, да...

Всего 37% российских онлайн-ресурсов доступны для незрячих людей К таким выводам пришла команда проекта Everland в результате масштабного исследования невизуальной доступности сайтов и мобильных приложений крупнейших российских компаний.Тринадцать незрячих тестировщиков, прошедших специальное обучение, проанализировали в общей сложности 9...

Начало мая 2024 года ознаменовалось 60-летием языка программирования BASIC. В честь этого события несколько проектов FOSS BASIC выпустили новые версии Язык программирования BASIC, созданный более 60 лет назад для обучения начинающих программистов, до сих пор жив и развивается. В мае 2024 года легендарный язык отметил свой 60-летний юбилей, и сообщество разработчиков решило отпраздновать это событие по-особенному. Неск...

О внутрикластерной маршрутизации через Istio Привет, Хабр! Я Степан, DevOps‑инженер, занимаюсь созданием CI/CD процессов с учётом проверки кода на безопасность, поддержкой и разверткой новых кластеров Kubernetes, соблюдением требований безопасности и созданием системы мониторинга и логирования — все это ...

Универсальные датасорсы в iOS-разработке В мире iOS-разработки, коллекции – это основной инструмент для представления данных в упорядоченной форме, таких как списки, таблицы, галереи фотографий или медиа-файлов. Они широко используются в различных сервисах, от социальных сетей до медицинских приложений.&n...

5 стадий принятия необходимости изучения «плана запроса» или почему может долго выполняться запрос Всем привет! Меня зовут Виктор, я работаю в Компании БФТ-Холдинг руководителем группы разработки. В этой статье разберем подходы и рекомендации по выявлению и устранению проблем с производительностью в системе базы данных Greenplum. Материал будет особенно полезен начинающим...

Нефть глазами аналитика данных Любите ли вы работать с данными, как люблю это делать я? Страдаете ли вы также от несовершенства инструментов для анализа данных? И вот, буквально в первых строках, я понимаю, что мне надо быть очень аккуратным, дабы не задеть чувства, к примеру, фанатов Excel или Notepad+...

Linux From Scratch на Zynq UltraScale+ MPSoC В данной статье я постараюсь описать процесс создания кастомного образа Linux на Zynq UltraScale+ MPSoCс. Каждый необходимый компонент будет собран отдельно с использованием соответствующих утилит. Статья разбита на разделы, которые шаг за шагом знакомят вас с процессом сбор...

Дисплей Galaxy S24 Ultra совершенно не бликует Среди достаточно важных функций смартфона Galaxy S24 Ultra многие почему-то упускают весьма интересное решение от компании Samsung, которое показывает, что дисплей новых гаджетов компании совершенно не боится бликов — тогда как у конкурентов это весьма существенная проблема....

Как составить эффективное резюме через нейросети В эпоху цифровизации трудоустройства, когда рекрутинговые агентства и HR-отделы переходят на автоматизированные системы обработки резюме, важность составления эффективного CV выходит на новый уровень. Первое впечатление о кандидате складывается за считанные секунды. Плюс не ...

[Перевод] Desert Racer: Первая игра, разработанная исключительно на CSS с возможностью управления свайпом Я разработал игру Desert Racer, чтобы показать уникальные и инновационные приемы, которые используют только CSS, включая функционал свайпа и детектирования столкновений, выполненные исключительно средствами CSS. На мой взгляд, это первые в своем роде решения. Вы вольны броси...

Игры, похожие на Starfield Starfield — новая большая игра от Bethesda и Microsoft, которая разделила игроков на два лагеря. Первый считает ее лучшей игрой студии и одним из самых мощных релизов для Xbox. Другая же осталась разочарована тем, насколько многие потенциально интересные идеи «Fallout в косм...

«Нелокализованное необходимо локализовать» или как «ЛАНИТ-Интеграция» создала автономную ИТ-инфраструктуру События последних лет развернули ведение бизнес-процессов у подразделений международных компаний на 360 градусов. Не секрет, что многие зарубежные организации отключают свою ИТ-инфраструктуру от российских дочек, что ставит отечественный бизнес под угрозу. Есть и другая стор...

Почему FilamentPHP — это хорошее решение для создания CMS Привет, Хабр! Меня зовут Егор Черненок, я работаю PHP-разработчиком в AGIMA. В этой статье расскажу вам о FilamentPHP. В документации говорится, что это набор красивых Fullstack-компонентов для Laravel. От себя добавлю, что он отлично подходит для построения CMS. А теперь по...

В «Одноклассниках» запустили «киберщит» от навязчивого общения в сети Команда  «Одноклассников» объявила о запуске новой полезной функции в соцсети – модели на основе машинного обучения, которая ограничивает навязчивые знакомства и общение с нежелательными собеседниками.  Сгенерировано нейросетью Midjourney Те...

Как начать работать с IPv6 там, где его нет (часть 1) Появлением на свет этот материал обязан переводу статьи IPv6 — это катастрофа (но поправимая) (автор Mathew Duggan) и является её логическим продолжением. Если вы живёте в небольшом городе, которого в том числе нет в этом списке, и ваш провайдер в него не входит, то велика...

Инсайдеры паблика Avtograd News рассказали о сложностях в создании Lada Iskra «Находят поставщика где-то из Азии, заключают договор, начинают работать, а он бац — и отказывается от контракта. И приходится искать нового поставщика. Поэтому работа по проекту Iskra движется с неожиданной пробуксовкой, где еë не ждали», — рассказали инсайдеры.

Обратный инжиниринг дешевой мини видеокамеры из семейства А9 В данной статье речь пойдет о Wi-Fi мини видеокамере из семейства А9 от китайских производителей. Цель исследования этих камер – расширить возможность их применения, которая ограничена использованием только стандартных приложений для мобильных устройств на базе Android или i...

Apple выпустила iOS 17.1 с новыми функциями для всех желающих. Как скачать ее на Айфон Спустя месяц с небольшим после релиза нужно посмотреть правде в глаза и признать, что iOS 17 оказалась на редкость сырой операционкой и принесла множество проблем. Столько багов не было со времен iOS 7, а владельцы Android-смартфонов и вовсе не сталкивались с чем-то подобны...

Малоизвестные библиотеки Python для анализа данных, которые сделают вашу жизнь проще Привет Хабр! В этой статье мы рассмотрим некоторые полезные библиотеки Python для задач обработки данных, с которыми, возможно, вы еще не знакомы. Хотя для задач машинного обучения на ум приходят такие библиотеки, как pandas, numpy, scikit-learn, keras, tensorflow, matplotli...

Оцифрованный True Crime В далёком 2011 году (кажется это была уже прошлая жизнь) мне довелось принять участие в проекте ВебНаблюдатель, про который я даже рассказал на Хабре в этой статье. В те далёкие годы я думал и утверждал, что Правительство Российской Федерации — очень нехорошие и лживые люди,...

Анти-легаси архитектура для UI приложений В предыдущих статьях мы пришли к выводу, что для того, чтобы UI‑код не превращался в легаси, нам нужно отделить представление от бизнес‑логики и немного иначе, чем это делают Redux и Elm, так как оба подхода не позволяют сделать э...

Как запустить немодерируемый юзабилити-тест? Эта статья призвана показать, как правильно организовать и провести немодерируемый юзабилити-тест, чтобы максимально повысить удобство и понятность вашего продукта для конечного пользователя. Она будет полезна UX/UI-дизайнерам, продуктовым менеджерам, маркетологам, и, коне...

Китай презентовал грандиозный план создания обитаемой лунной базы Национальное космическое управление Китая (CNSA) представило видео, иллюстрирующее концепцию проекта Международной лунной исследовательской станции (ILRS). Эта инициатива призвана развернуть обитаемую базу на Луне в течение следующих нескольких десятилетий. Презентация ...

Как распараллелить тесты с базой данных Представьте проект, в котором уже написано несколько сотен тестов. Каждый тест настраивает базу под себя: добавляет данные, вызывает truncate по окончанию. Хочется запускать тесты параллельно, чтобы ускориться, но если два теста запустить одновременно, они почти наверняка др...

Как стать надёжной базой Secure-base leadership или как стать надежной базой для коллег в нестабильные времена Сейчас набирает популярность относительно новый вид лидерства: secure base или «надёжная база». Этот подход в большей степени отражает контекст и потребности людей в вопросах построения карьеры и коммуникаций на работе. Во времена неопределенности важно, чтобы лидер мог воод...

Слух: Следующая Battlefield получит Королевскую битву в духе CoD: Warzone Игровой журналист Том Хендерсон с сайта Insider Gaming поделился некоторыми деталями касательно следующей Battlefield. Судя по всему, в данный момент студия Ripple Effect работает над отдельным условно-бесплатным режимом для следующей части в духе Call of Duty: Warzone. Свое...

Процесс перехода с монолитиной архитектуры на микросервсную Общий процесс перехода с монолитной архитектуры на микросервисную:1. Анализ текущей архитектуры: Оцените текущие монолитное приложение, определите его слабые места и проблемы, которые хотели бы решить с помощью микросервисной архитектуры. Это может включать в себя высокую сл...

Как я чуть не стал миллионером, продавая воздух, или почему Россия – не Америка Все знают, что Россия — энергетическая сверхдержава, она же – «разорванная в клочья Обамой бензоколонка». Но не все знают, как это может отражаться в области развития математического моделирования. Расскажу одну жизненную историю. Начну с далекого 2007 года. Довелось мн...

Convex — альтернатива Firebase и Supabase Convex - это платформа для создания бэкенда. В нее входит: Server Functions, ACID Database, Vector Search, Scheduling and crons, File StorageВсе в Convex работает в режиме реального времени. Также написаны удобные интерфейсы для работы с Convex на React Читать далее

Обучение ИИ на синтетических данных: исследователи из MIT меняют правила игры Как известно, данные - это новая почва в мире AI. И товарищи-исследователи из MIT CSAIL нашли оригинальный способ вырастить на этой плодородной земле нечто большее, чем просто пиксели. В своем новом исследовании, они использовали синтетические изображения для обучения моделе...

Нейросеть YandexART можно протестировать в облаке Yandex Cloud Компания Яндекс открыла компаниям доступ к тестированию своей нейросети для создания изображений YandexART в облачном сервисе Yandex Cloud. С её помощью компании могут генерировать иллюстрации для соцсетей, рекламы, книг и т.д. YandexART можно использовать и через API, ...

Препарируем Wazuh. Часть 3: источники не из коробки В предыдущей статье мы говорили о том, как можно подключить к Wazuh стандартные источники, идущие, что называется, «из коробки». С ними все относительно просто: выполняем действия, представленные в инструкции по подключению Wazuh на источнике, выполняем необходимые правки на...

Fooocus v2: Революция в работе с изображениями — расширение, изменение и персонализация. Все про Input Image в нейросети Друзья, всем привет, в прошлой статье Fooocus v2 — бесплатный Midjourney у вас на компьютере, вы познакомились с рисующей нейросетью которая вполне способна заменить Midjourney, узнали как её установить, как пользоваться, за что отвечают все настройки и как работают режимы, ...

5 крутых функций, ради которых я жду обновление Android 15 Несмотря на то, что релиз Android 15 запланирован лишь на осень 2024 года, компания Google уже активно тестирует бета-версии операционной системы для разработчиков, благодаря чему в сеть просачивается много информации относительно новой ОС. Уже сейчас ясно, что очередное по...

Как я сделал телеграмм-бота для массовых откликов на вакансии и что мне это дало Началось все как у всех, с поиска работы. Изначально планировал собрать информацию об аккредитованных компаниях, чтобы в дальнейшем к ним устроиться. При поиске обнаружил, что у HeadHunter уже реализован поиск по данному критерию. Супер, но я планировал собрать контактные да...

Расширяем тестовый фреймворк с помощью Pytest-плагинов. Часть 1: теория Всем привет! Меня зовут Александр Волков, я занимаюсь интеграционным и компонентным тестированием в YADRO. В числе продуктов компании есть системы хранения данных и, говоря о тестировании, я буду иметь в виду в первую очередь работу с СХД. Однако описанные подходы пригодятся...

Оптимизация нейронки в Tensorflow? В отличие от Pytorch, где структура данных выстраивается налету после начала обучения нейронки – в TensorFlow граф статичен. В этой статье мы кратко расскажем про некоторые способы ускорения обучения путем изменения графа вычислений: XLA, GraphTransform Tool, квантизация, за...

Как пользоваться нейросетью Bard от Google в России. Это бесплатный аналог ChatGPT Появление нейросети ChatGPT серьезно встряхнуло мировую ИТ-индустрию. Простой, интуитивно понятный и умный, он предлагал обширнейший спектр возможностей — от написания текстов и проверки их на ошибки до создания полноценных приложений и скриптов на разных языках прогр...

ChatGPT-4 в помощь: используем AI в доработке простого iOS-приложения Мне всегда было интересно, получится ли применить AI-инструменты в трудовых буднях программиста. Когда появился ChatGPT, я начал пробовать использовать его в работе, и он быстро стал для меня вспомогательным инструментом. Буквально на днях вышло его крупное обновление, и ста...

Astrobotic и Mission Control объединили усилия для создания полуавтономного лунохода Astrobotic, ведущая компания в области космической робототехники, объявила о сотрудничестве с канадской компанией по производству космического программного обеспечения Mission Control для создания вездехода, который будет отправлен на Луну в рамках предстоящей миссии As...

(Еще один!) личный опыт переезда в США. Часть 2: виза Приветствую желающих узнать о том, можно ли самостоятельно и с минимальными затратами времени\денег получить рабочую визу в США. Туристическая виза - это отдельный разговор, и осознавая сложность ее получения, я даже не пытался. С рабочей же овчинка могла стоить выделки, поэ...

В каждом человеке есть мощная защита от пищевых отравлений — вот как она работает Человеческий организм умеет бороться с опасными бактериями в еде, но иногда патогены оказываются сильнее Каждый человек любит вкусно поесть, но при этом важно всегда оставаться начеку: если еда испорчена, она может стать причиной пищевого отравления. Обычно это происходит, к...

Microsoft хочет улучшить процесс производства Surface с помощью ИИ Microsoft в своём блоге подробно рассказала о том, как команды Surface и Azure использовали облачные технологии высокопроизводительных вычислений для революции в процессе проектирования новых устройств линейки Surface. Заявляется, что это позволило уменьшить затраты и сокра...

ChatGPT и отзывы на приложение: Анализ тональности для улучшения пользовательского опыта Привет, дорогие читатели Хабра!Сегодня я хочу поделиться с вами своими знаниями и опытом в области анализа данных и машинного обучения, освещая увлекательную и актуальную тему – анализ отзывов на приложения с использованием модели ChatGPT. Этот подход открывает новые горизон...

Короткой строкой: почему я начал учить английский и пригодился ли язык в работе Всем привет! Меня зовут Павел, я работаю в Альфа-Банке на позиции QA Tech Lead. В этой статье хотел бы поделиться своим видением и опытом использования английского языка в повседневной и профессиональной жизни. Не сказать, чтобы мой английский был на высочайшем уровне, но дл...

Приглашаем на Ozon Tech Community ML&DS Meetup Всем привет, меня зовут Артём, я руководитель команды «Эффективность рекламы». Мы пока не предлагаем генеративные модели для пользователей, но мы делаем другие крутые вещи, связанные с ML&DS. И хотим о них рассказать.Приглашаю на Ozon Tech Community ML&DS Meetup, где...

Путь к совершенному ПО: Искусственный интеллект в автоматической формальной верификации При написании высококачественного программного обеспечения не обойтись без этапа формальной верификации. Несмотря на то, что наша жизнь уже была в некоторой степени упрощена, благодаря таким помощникам доказательства как Coq и Isabelle/HOL, обучающим модель предсказывать оди...

[Перевод] Все, что нужно знать для разработки с использованием LLM Цель данной статьи — простым языком объяснить ключевые технологии, необходимые для начала разработки приложений на основе LLM. Oна подойдёт как и разработчикам, так и специалистам по машинному обучению, у которых есть базовое понимание концепций...

Слоны — единственные животные, которые обращаются друг к другу по имени Слоны дают друг другу имена, как и люди Давно известно, что слоны являются одними из самых умных животных на Земле. К слову, они обладают и самым большим по объему мозгом среди наземных животных. И несмотря на то, что эти животные хорошо изучены, они продолжают удивлять учен...

[Перевод] Размышления о высококачественных данных, собранных людьми Высококачественные данные — это «топливо» для современных моделей глубокого обучения. Большая часть данных, размеченных под конкретные задачи, создается живыми людьми — аннотаторами, которые занимаются классификацией или проводят RLHF-разметку для LLM alignment. Многие из ...

Мой 2-х месячный опыт настройки Selenoid под Android за 10 минут Если вы читаете эту статью, то наверняка слышали о Selenoid. Это мощное решение написанное на Go от компании aerokube для управления Docker-контейнерами, в которых «завёрнуты» все необходимые программы и драйверы для тестирования в браузерах или на Android-эмуляторах.Как утв...

Realme готовит к релизу Narzo 70 Pro 5G с управлением жестами Флагманский смартфон Realme Narzo 70 Pro 5G, который выйдет в Индии уже в этом месяце, получит функцию под названием Air Gesture, которой нет ни у одного другого смартфона на современном рынке. Индийское подразделение компании Realme официально сообщило, что функция Air Gest...

Настраиваем ExecutorService'ы на практике В этой статье хочу рассмотреть что такое ExecutorService в Java, зачем он нужен, варианты создания и в как его настраивать для решения практических задачПонимаю что есть много подобных статей, но в тех статьях что мне удалось найти не хватало практических примеров, сегодня х...

Почему ваши витамины и лекарства не работают на 100%? Машинное обучение нашло ответ В период пандемии ковида и недавней эпидемии гриппа многие из нас прибегали к употреблению большого количества витаминов и микроэлементов, для поддержание иммунитета. Выбор БАДов в аптеках по всей стране весьма широкий и привлекательный, однако совместное их применение очень...

[Перевод] Полезные расширения VScode для работы с документацией Как правило, работа с документацией — это последний этап любого проекта, связанного с данными (data science, data visualization и т. д.), проектированием и разработкой ПО. Речь о создании и редактировании библиотек, файлов README, обучающих материалов и др. Среди всех преиму...

Проект «Селенит». Часть 5: Контроллер, встроенное ПО и квадратурный модулятор Аппаратура SDR (Software-defined Radio), как и следует из названия, представляет собой программно-аппаратный комплекс. В предыдущих частях цикла были рассмотрены преимущественно аппаратные решения радиотракта трансивера Selenite Lite. В большей части данной публикации будет...

Siri на iPhone на русском языке: теперь работает и без подключения к интернету Российские пользователи iPhone заметили необъявленную функцию, которую Apple реализовала без анонсов и фанфар в очередном обновлении iOS 17. Как оказалось, фирменный голосовой помощник Apple обрёл способность работать на русском языке даже без подключения к интернету. ...

Конструктор для верстки HTML-писем, создание сайта при помощи нейросети – эти и другие российские стартапы 10 новых российских проектов для бесплатного обучения программированию, взаимодействия клиентов с брокерами по недвижимости, создания интернет-магазина со встроенной CRM, создания и ведения династий в The Sims (!) и многого другого. Битва за «Продукт недели» началась!Product...

[Перевод - recovery mode ] Глубина вашего виртуального кошелька: Что финтех-приложения знают о вас? Доброго времени суток. Хотел предложить вашему вниманию перевод интересной статьи о расследовании, связанном с персональными данными компаниями Maldita.es, Tactical Tech и SocialTIC на территории ЕС. Расследование затронуло приложения связанные с финансами, так называемый фи...

Как устроен GIL (Global Interpreter Lock) в Python: влияние на многозадачность и производительность Привет, уважаемые читатели!GIL, или Global Interpreter Lock десятилетиями оставался темой обсуждения и дебатов среди питонистов.Что такое GIL? GIL, сокращение от Global Interpreter Lock, представляет собой важную концепцию в Python. Он представляет собой мьютекс, который бло...

Частное мнение о том, как «вкатиться» в IT Я давний читатель HABR‑а (кажется, с 2011 года), хотя читатель пассивный: даже не был зарегистрирован. Мне казалось, что сотрясать воздух занятие достаточно бессмысленное, а сказать что‑то новое мне особо и нечего. Но последние пару лет на HABR‑...

[Перевод] Подробное объяснение принципа KISS в программном обеспечении Когда я ищу информацию о принципе KISS в Интернете, я натыкаюсь на множество сайтов, определяющих его в паре строк: важна простота, давайте быть простыми, конец. Они часто не объясняют, что такое простота, почему простота важна и как ее достичь.Простота - это одна из ведущих...

Как быстро выбирать языковые модели (LLM) под свои задачи Последние полгода я активно занимаюсь разработкой сервисов на базе больших языковых моделей, они же «LLM». Для каждого проекта мне приходится подбирать модель по определенным критериям: языковая поддержка, требования к памяти, типу (instruction-based или completion), скорост...

Нейронные сети и dataset IRIS Исследовательская работа по dataset IRIS и библиотеке для машинного обучения и построения нейронных сетей tensorflow. Читать далее

Построение планов параллельного выполнения программ для процессоров со сверхдлинным машинным словом (проект) Процессоры архитектуры  сверхдлинного машинного слова (VLIW - Very Long Instruction Word) относятся к специфическим классам архитектур, прямо нацеленным на использование внутреннего параллелизма в алгоритмах (программах), причём параллелизм этот анализируется и планируе...

[Перевод] Создание сквозного конвейера MLOps с помощью Open-source инструментов MLOps с открытым исходным кодом: TL;DR Эта статья служит целенаправленным руководством для специалистов по исследованию данных и инженеров ML, которые хотят перейти от экспериментального машинного обучения к готовым к производству конвейерам MLOps. Мы выявим ограничения трад...

Южноуральский арматурный завод в Оренбургской области посетил министр образования В Оренбургской области 13 сентября министр образования региона Алексей Пахомов и его заместитель Вячеслав Коваленко побывали на Южноуральском арматурном заводе. Визит связан с выходом на очередной этап развития проекта создания «Колледжа будущего» на базе ЮАЗ. В рамках встре...

Самые крутые инструменты ИИ из Google Pixel будут доступны всем Искусственный интеллект играет важную роль в работе Google Фото, обеспечивая интеллектуальные функции для организации, обнаружения и редактирования фотографий. Google применяет самые передовые технологии машинного обучения и компьютерного зрения, чтобы помочь пользователям ...

Смотрите, что можно сделать с Android-смартфоном, если подключить его к компьютеру Обычно люди пользуются смартфоном и компьютером для решения разных задач, совершенно не задумываясь о том, для чего нужно подключать одно устройство к другому. Как правило, первое необходимо для коммуникации, а второе — для работы. Из-за этого кажется, что между ними нет ни...

Apple уже готовит MacBook Pro нового поколения с чипом M4 В прошлом году Apple представила новое поколение MacBook Pro с чипом M3, который на днях появился в новом MacBook Air. При этом компания уже работает над новым MacBook Pro, оснащенным еще не анонсированным чипом M4. Эту новость сообщил Марк Гурман из Bloomberg, который ...

«Высокое искусство вашими руками»: Сбер представил бесплатную нейросеть Kandinsky 3.0 Команда СберБанка создали новую версию фирменной нейросети — бесплатную генеративную модель для творчества Kandinsky 3.0. Усовершенствованная нейросеть представлена на конференции Сбера по искусственному интеллекту и машинному обучению AI Journey, которая проходит...

Разработка и применение систем разграничения доступа на базе атрибутов Привет! Меня зовут Михаил, в Positive Technologies я руковожу бэкенд-разработкой метапродукта MaxPatrol O2. В этой статье я расскажу, зачем нам в компании понадобилось разграничение доступа на основе атрибутов. Его еще называют ABAC (attribute-based access control). Рассмотр...

Open Research Knowledge Graph: новый подход к научной коммуникации На сегодняшний день для представления и обмена результатами исследований мы используем методы, которые были разработаны много веков назад. С момента зарождения современной науки (публикации первого научного журнала "Transactions of the Royal Philosophical Society", 1665 г.) ...

RSLike@3. Well-known Symbol, улучшенное использование Typescript, и весим больше Еще совсем недавно я выпустил библиотеку которая должна была искоренить ошибки связанные с null и undefined . Честно признаюсь, что решил подсмотреть у Rust Option и Result апи, поскольку увидел в этом потенциал и удобство использования!Если кратко пройтись по истории создан...

Выявление закладных устройств с помощью радиомониторинга В рамках данной статьи обратим внимание на проблему внедрения закладных устройств для несанкционированного доступа к информации. Целью данного данной статьи ставится «Изучение радиомониторинга для выявления закладных устройств». Для достижения поставленной цели необходимо ре...

Не все логи одинаковы полезны: 3 истории из жизни Прочитав статью "Утечки памяти, которые не утечки", я решил поделиться своим опытом поиска проблем, связанных с нагрузкой систем под управлением Windows. 2 проблемы были связаны с возросшей нагрузкой на ЦПУ и одна проблема связанна с утечкой памяти.В своей статье я расскажу,...

Внутренние данные: топливо успеха в банковской индустрии, или Тайны загрузки данных, формирующих будущее инноваций Внутренний источник данных в банке – это любой источник информации, который находится внутри банковской организации и генерирует данные самостоятельно. Эти данные хранятся исключительно внутри банка. Они выделяются уникальностью, бесплатностью (сформированы внутри ...

Стратегия-выживач Dust Lands с зомби получила высокие оценки в Google Play Мобильная игра Dust Lands вышла 16 ноября на Android. В ней нужно проходить миссии, в ходе которых группа выживших будет отстреливаться от зомби на разных локациях. Но есть цель и поважнее — отстроить базу под землёй, чтобы сделать безопасное место. В нём надо строить новые...

Почему NASA потеряла связь с марсоходами, и в будущем это повторится снова На протяжении пару недель марсоходы будут работать в автоматическом режиме Прямо сейчас на поверхности Марса работают два марсохода Perseverance и Curiosity, а также вертолет Ingenuity. Первый марсоход находится в кратере Джезеро и собирает образцы марсианского грунта для по...

[Перевод] Что нужно знать, чтобы успешно пройти System Design Interview Для любого разработчика глубокое понимание основных принципов системного проектирования является необходимым условием для создания стабильных и масштабируемых программных систем, способных обеспечивать высокую производительность. Системное проектирование (System Design) вклю...

STM32. Процесс компиляции и сборки прошивки Многие из начинающих разработчиков софта для микроконтроллеров реализуют свои проекты исключительно в средствах разработки, которые предоставляются производителем. Многое скрыто от пользователя и очень хорошо скрыто, из-за чего некоторые воспринимают эти процессы сродни наст...

Самый простой гайд по созданию бота для анализа сообщений в Telegram Есть Telegram-каналы, которые отслеживают определенные события в мире. А мы следим за их сообщениями, чтобы не упустить ничего важного. Если собирать и анализировать данные вручную, процесс будет отнимать много времени и требовать высокой концентрации от человека. Чтобы реш...

Как мы разгрузили руководителей проектов и освободили время для «профильных» задач Руководители IT-проектов (РП) на рынке труда в остром дефиците: по данным hh.ru на 1 вакансию приходится 1,9 резюме. Поэтому часто в компаниях один РП ведет по 5-6 проектов. При такой загрузке успеть все и сохранить качество практически невозможно.Решить проблему с загрузкой...

Оптимален ли блокчейн для хранения идентификационных данных? Приветствую, Хабр! Моя предыдущая статья была посвящена формализованным критериям выбора базовой технологии хранения и обработки данных, совокупность которых позволяла ответить на вопрос, использовать ли в конкретной системе блокчейн-технологии или ограничиться хорошо изучен...

Как обучают GPT Привет, Хабр! Меня зовут Родион Уколов, я занимаюсь искусственным интеллектом в компании Friflex. Мы помогаем компаниям внедрять модели машинного обучения и развиваем свои цифровые продукты.Может быть, вы помните статью моего коллеги о том, как решать реальные задачи с ChatG...

Как я за месяц написал интерпретируемый язык программирования на Python Привет, Хабр! В этой статье я хотел бы поделиться опытом создания своего языка программирования.ПредысторияМне 14. Обучаясь на втором году Яндекс Лицея, нужно было написать несколько проектов. Первым из них стал проект на PyQT5. Я долго думал над идеей и вспомнил, что летом ...

Разбираемся с Apache Spark В сегодняшней статье мы начнем знакомиться с универсальной и высокопроизводительной кластерной вычислительной платформой Apache Spark, научимся разворачивать данное решение и выполнять простейшие программы. При обработке больших объемов данных скорость играет важную роль, та...

Гудбай Pusher, привет Laravel Websockets Так получилось, что при создании очередного проекта для своих клиентов возникла необходимость реализовать уведомления пользователей о событиях да еще ко всему прочему запилить корпоративный чат.Проект делается на Laravel 10 на стартере Breeze Inertia + Vue.js.Историю как я п...

Манюня, часть 2 И снова здравствуйте!Данная статья посвящена разъяснению того, что из себя представляет проект «Манюня». Я не буду пытаться с пеной у рта доказывать, что он круче, лучше чем то, что уже есть. Это нечто другое, ностальгия, реализация того, что давным-давно хотелось сделать, н...

Получение мостов tor из GMail с помощью Python В предыдущей статье была рассмотрена установка и настройка tor в ОС Linux Mint 21.3, а также были рассмотрены несколько способов получения мостов obfs4 с помощью сайта и телеграмм бота. В комментариях был задан вопрос по пово...

Обзор актуальных инструментов шифрования в Android Привет, Хабр! Меня зовут Артур Илькаев, я работаю в департаменте экосистемных продуктов, мы разрабатываем VK ID SDK и все что связано с авторизацией и сессиями, в частности — мультиаккаунт.Секретные данные требуют особого внимания при хранении и передаче. Инструмен...

5 примеров того, что Android-смартфоны должны скопировать у iPhone 15 как можно скорее iPhone 15 был представлен уже довольно давно, и на сегодняшний день о нем было сказано немало. Даже мы уже приводили примеры того, что Apple скопировала у старых поколений смартфонов на операционной системе Android, но сделала это лучше и может заново популяризировать эти ф...

Межпланетный зонд-ветеран NASA Voyager 1 посылает на Землю странную «тарабарщину»: на решение проблемы уйдёт немало времени Американское управление по аэронавтике и исследованию космического пространства NASA рассказало о неполадках межпланетного зонда Voyager 1 (Вояджер-1). Сейчас инженеры пытаются решить проблему, но пока зонд отправляет на Землю лишь «двоичную тарабарщину». &n...

Как в СУБД реализовать администратора без прав доступа к данным В СУБД-строении есть не новая, но не теряющая актуальности задача. Сформулировать её можно примерно так: как убрать возможность суперпользователя взаимодействовать с данными, но оставить ему все возможности по управлению СУБД? Эта функция затребована не только большими компа...

Даем нейросотрудникам на базе ChatGPT настоящую постоянную память На нашей no-code платформе мы создаем GPT-ботов, которых мы называем нейросотрудниками. Они уже многое умеют и даже организуются в целые нейроотделы с нейроруководителями.Но чтобы им стать действительно незаменимыми помощниками в реальных бизнес-задачах, они должны обладать ...

[Перевод] Как потерять управление оболочкой… Расследование Несколько недель назад я занимался хаком языковых серверов в Zed, пытаясь заставить Zed определять, когда заданный бинарник языкового сервера, например gopls, уже присутствует в $PATH. Если так, вместо загрузки нового бинарника Zed должен использовать его. Трудность: часто ...

Непрерывная интеграция при разработке RTL-модулей Создание цифровых устройств, как правило, представляет из себя итеративный процесс. Требования к устройству частично могут измениться уже на этапе его разработки. Также часто приходится модифицировать RTL-код после получения отчетов от инструментов синтеза и имплементации. ...

[Перевод] Инженеры NASA добились прогресса в понимании проблемы «Вояджера-1» 13.03.2024, Дениз Хилл, blogs.nasa.gov3 марта команда миссии «Вояджер» увидела активность в одном разделе данных FDS, которая отличалась от остального нечитаемого потока данных компьютера. Новый сигнал все еще не был в том формате, который использовался «Вояджером-1», когда ...

Сравнительный анализ методов аппроксимации на основе SQL-запросов При работе с данными часто приходится сталкиваться с ситуацией, когда имеется некоторая функциональная зависимость yi = f(xi), которая получена в результате эксперимента или сбора статистики. То есть исходные данные представлены набором точек (x1, y1), (x2, y2) … (xn, yn), г...

[recovery mode] Как стать Flutter-разработчиком бесплатно? Всем привет! Я Даниил Беликов, мобильный разработчик в крупной российской компании. Мои знакомые часто интересуются, стоит ли им входить в IT и на кого учиться. Обычно я отвечаю, что если человек визуал, есть смысл попробовать Flutter. Во-первых, это востребовано. Во-вторых,...

Как выбрать GPU для машинного обучения Машинное обучение позволяет компьютерам извлекать данные, находить закономерности и принимать решения на их основе в различных отраслях. Например, в медицине его используют для анализа рентгеновских снимков и МРТ. Автономные транспортные средства с их помощью строят маршруты...

Как работают Векторные базы данных и Поиск похожих текстов в них Если вы когда-нибудь использовали в работе retrieval augmentation generation (RAG) на базе векторного поиска и не лезли туда под капот, но были бы не прочь, я постараюсь погрузить вас в то, как устроена векторная база данных внутри. Читать далее

Samsung работает над 1-дюймовым датчиком изображения Сегодня появилась достаточно интересная информация о том, что южнокорейская компания Samsung, судя по данным некоторых крупных инсайдеров, начала работу над камерой размером в 1 дюйм, но, к сожалению, на разработку такого крупного проекта нужно много времени и в конечном ито...

regexp — большие гонки Так или иначе сталкиваться с регулярными выражениями приходилось большинству разработчиков. Мое первое знакомство произошло с реализацией regex в STL std::regexp. Чаще всего регулярки используются в проверке входных данных, что-то вроде проверки корректности введенного польз...

Искусственный интеллект повысит автономность смартфонов Samsung Galaxy S25. За это будет отвечать функция Battery AI Смартфон Samsung Galaxy S25 Ultra, согласно имеющимся данным, сохранит аккумулятор ёмкостью 5000 мА·ч. Однако свежие данные говорят о том, что Samsung всё равно сделает новинку автономнее как минимум за счёт функции Battery AI.  фото: Samsung Это программно...

Spring Security 6. Авторизация и аутентификация на основе Базы данных Привет. Меня зовут Кирилл, я Java-разработчик. Несмотря на то, что уже год я работаю в компании, по прежнему стараюсь находить время для собственных проектов, с помощью которых осваиваю интересующие меня технологии и подходы. Именно на таком проекте я решил разобраться, как ...

Kubernetes, ищем базу В этой статье я хочу показать, что меняется в состоянии кластера kubernetes при создании базовых ресурсов. В качестве кластерной платформы был выбран minikube чтобы каждый мог повторить проделанные мной шаги безо всяких проблем. Читать далее

Как мы считали экономику продукта «Семья» через uplift CLTV Всем привет! Меня зовут Владлен Севернов. Я работаю ML-инженером в команде CLTV билайна. В этой статье я поделюсь с вами моим опытом решения задачи uplift-моделирования для оценки экономики продукта «Семья» с точки зрения CLTV.Что мы подразумеваем под CLTVПодробнее про CLTV ...

Метод SMART. Что это и почему про него важно знать руководителю? Привет! Меня зовут Лера, я в управлении проектами уже 7 лет. Реализовывала проекты на стыке AR/VR/ML-технологий в сервисной компании. Сейчас работаю в EdTech и параллельно занимаюсь менторством начинающих проджектов и руководителей.Прежде чем мы перейдем к основной...

Синдром жареного риса — редкая болезнь, от которой может пострадать каждый Если не хранить еду в холодильнике, в ней могут начать размножаться опасные для человека бактерии В 2008 году в Интернете появилась новость, которая заставила многих людей бояться блюд из риса и макарон. Она гласила, что однажды 20-летний студент колледжа умер после того, ка...

Человекоподобный робот Tesla Optimus уже выполняет точную работу и без проблем перемещается в офисе. Опубликовано новое видео Гуманоидный робот Tesla Optimus стал героем нового ролика, в котором он устанавливает аккумуляторные элементов в лоток. Последнее видео, опубликованное Tesla 5 мая, демонстрирует прогресс, которого удалось добиться с помощью нейронной сети, обученной интерпретировать ка...

GPT-4, Claude 3, Gemini Pro или опенсорс — как выбрать LLM под свою задачу? Несмотря на то, что сейчас из каждого утюга рекламируется доступ к ChatGPT и GPT-4, вообще говоря, в мире существует несколько больше разных поставщиков LLM (больших языковых моделей), и некоторые из которых могут гораааздо более эффективнее решать какие-то конкретные зада...

Грациозное падение: динамика снежинок и турбулентность Понятие «зимняя сказка» хоть и связано по большей степени с ожиданием рождественско-новогодних праздников, подарков, выходных/каникул, но эстетика этого периода также важна. А важнейшей составляющей этой зимней эстетики является, конечно же, снег. И чтобы на земле образова...

Перевод: Microsoft готовит «революционную» Windows, ориентированную на ИИ Редактор портала Windows Central Зак Боуден поделился новой информацией о будущем ОС Windows. Новое руководство команды Windows & Web Experiences формирует новую дорожную карту развития операционной системы, которая будет реализовываться в ближайшие годы. Новый план раз...

Яндекс запустил спортивную аналитику – система отслеживает перемещения игроков по полю и многое другое Команда Яндекса представила сегодня на конференции YaC 2023 решение для спортивной статистики и аналитики. Система трекинга для командных видов спорта отслеживает перемещения игроков по полю во время футбольных матчей и показывает скорости, траектории и другую игровую с...

Специалисты бьют тревогу и предупреждают о критическом «перенаселении» околоземного пространства Согласно свежему отчёту компании Slingshot Aerospace, околоземное пространство стремительно перенаселяется, что создает потенциально опасные риски. Анализ, основанный на данных спутника Seradata и базы запусков Slingshot, указывает на то, что космическая сфера переполне...

Производственный календарь в PostgreSQL Новый Год уже совсем на носу, а значит нужен свежий производственный календарь в базе данных PostgreSQL. Но как совершенно обленившийся IT-шник, заводить его руками не хочется. Хочется, чтобы вызовом одной функции он сразу появился. Ну а уж из этой функции можно его сохранит...

database/sql: плохой, хороший, злой Многие Golang-разработчики  пробовали работать с БД в Go, и у каждого — свои боли. В этой статье разберём библиотеку database/sql как безотносительно конкретной СУБД, так и применительно к YDB. Рассмотрим трудности эксплуатации при использовании драйвера database/sql на...

ГОСТ 57580: как финансовым компаниям защищать критические данные Сегодня обсудим нюансы работы с критически важными данными финансовых организаций: — какие стандарты регулируют применение средств защиты информации;— как банки могут хранить и передавать данные, минимизируя риски;— на что обратить внимание, работая с облаком.Поделимся ...

Как правильно передавать секреты запускаемым программам? Эта статья о том, как правильно передавать секреты запускаемым программам.Бывает встречаются Unix-системы, на которых некоторые администраторы передают процессам пароли в открытом виде, совершенно не заботясь о том, что их видят все пользователи данной системы. Если вы смог...

Всё, что известно о функции AI Explorer для Windows 11 Microsoft продолжает работу над следующей версией WIndows 11, которая принесёт с собой большое количество новшеств на базе искусственного интеллекта. Но наибольший интерес представляет пока ещё неанонсированная функция под кодовым названием «AI Explorer». С её помощью опера...

Простыми словами про обработку текстовых запросов пользователя в Телеграмм ботах на java Тем, кто так или иначе уже сталкивался с разработкой Telegram-ботов на java, известно, что бот должен уметь отправлять запросы Telegram-серверу и получать от него обновления (updates). В настоящее время существует два способа получения обновлений:- использование LongPolling ...

[Перевод] Осваиваем модуляризацию: Руководство для начинающих по организации сложных программных систем ⚡ Tl;dr Модуляризация — это метод разделения сложных систем на более мелкие удобоваримые части для лучшего управления и восприятия. Она повышает эффективность, надежность и ремонтопригодность программных проектов за счет организации кода в модули. Она снижает когнитивную на...

Сити-ферма: майним зелень в подвале Сити-фермы становятся все популярнее, поскольку они позволяют выращивать в условиях города экологически чистую продукцию: салат, базилик, рукколу, клубнику, томаты и т.д. На зелень всегда есть спрос со стороны ресторанов, поэтому это еще и неплохой способ  заработа...

Синкерим, хешайдим, терминируем: 6 утилит, чтобы ускорить ваши локализации Наша команда Mobile Doc&Loc «Лаборатории Касперского» занимается подготовкой документации и локализации B2C-продуктов компании для мобильных устройств. Основная сложность (и одновременно фишка) нашей работы заключается в том, что необходимо регулярно подготавливать перев...

Кластеризация в ML: от теоретических основ популярных алгоритмов к их реализации с нуля на Python Кластеризация — это набор методов без учителя для группировки данных по определённым критериям в так называемые кластеры, что позволяет выявлять сходства и различия между объектами, а также упрощать их анализ и визуализацию. Из-за частичного сходства в постановке задач с кла...

Только теперь AMD начнёт догонять Nvidia. Компания открыла исходный код технологии FSR 3.0 с генерацией кадров Несмотря на то, что технологию суперсемплинга AMD FSR 3.0 представили около полугода назад, реализована она пока всего в трёх играх. Но вскоре их может стать намного больше, так как AMD опубликовала исходный код.  FSR 3.0, как и предыдущие версии технологии AMD, и...

Когда одной ARIMA мало. Прогнозирование временных рядов нейросетями Привет, Хабр! Меня зовут Никита, я работаю в Мегафоне аналитиком больших данных. В этой статье я хочу поговорить про временные ряды, а если конкретнее, про использование нейросетей для их прогнозирования. В статье мы не только разберем две актуальные архитектуры для про...

Автосборка Fsbl, U-Boot, linux kernel и установка debian для amd64 для Zynq Ultrascale zcu106 В данной статье описывается способ создания минималистичного образа sd карты c debian amd64 на примере отладочной платы с zynq ultrascale zcu106. Данный способ можно использовать для создания загрузочных образов других устройств с соответствующими изменениями. Битстрим, ядро...

Добрый доктор для ML-команды: как тимлиду работать с людьми Кадры или, если брать шире, люди по-прежнему решают все, и сфера Machine Learning — не исключение. Но подбор специалистов, поддержание работоспособности команды, отношения с заказчиками — все в этой области имеет определенную специфику.Как проводить собеседования, что общего...

Один чип по производительности как четыре Apple M2 Ultra. Apple создала такой для своего отмененного автомобиля У Apple были амбициозные планы относительно своего электромобиля, включая создание усовершенствованной системы автономного вождения. Для этого компания разработала чип, эквивалентный по производительности четырем Apple M2 Ultra. Марк Гурман из Bloomberg заявил, что кома...

ИИ может потреблять до четверти всей электроэнергии США уже к 2030 году. Такой прогноз озвучил глава Arm Активное наращивание мощностей для обучения ИИ требует всё больше энергии. Согласно некоторым подсчётам, при таких темпах уже к 2030 году данная индустрия может потреблять четверть всей электроэнергии США.  создано DALL-E С таким заявлением выступил глава Arm Рене...

Как мы наладили процесс разработки внутренних приложений с помощью Appsmith Привет! Меня зовут Алексей, я аналитик данных в команде BI финансового маркетплейса Банки.ру. Сегодня хочу поделиться опытом работы с Appsmith. Это low-код инструмент для автоматизации бизнес-процессов. В статье расскажу, зачем вообще нам понадобился подобный инструмент...

Всего 57 компаний выбрасывают 80% углекислого газа на планете По данным проекта «Carbon Majors», декарбонизация планеты под угрозой, так как и государства, и частный бизнес саботируют задачи по снижению выбросов углекислого газа. Из сотни компаний — крупнейших источников выбросов, 58 нарастили их объемы вопреки взятым на себя обязатель...

Фэнтези и бизнес-показатели: как и во что менеджеры играют на работе — Я тебе за что плачу? За то, чтобы ты играл на рабочем месте!?— Да.— Действительно…Продолжай.Люди играли, играют и будут играть. Но почему бы не играть с пользой и вместо «Танки Онлайн» приносить результат банку, а себе — денежку? Никаких причин отказываться от такой и...

Социальный проект: визуализация данных медицинской статистики Хабровчане, приветствую! Меня зовут Андрей Иванов, я системный аналитик в сфере медицины и здравоохранения. До 2005 года работал практикующим врачом, потом руководил медицинским информационно-аналитическим центром. Спустя время возникла настоятельная потребность получить баз...

Нейропаучок пробует силы! Часть 1 Здравствуй, дорогой читатель. В статье речь пойдет об обработке показаний с датчика с применением как простых алгоритмов, так и нейронной сети. Что проще – решай сам. Во время бурения, в связи с низкой скоростью передачи данных, данные каротажа, условно ...

Всё о VoxelDance Additive - на вебинаре от производителя! VoxelDance - инновационная компания по разработке программного обеспечения для 3D-печати, специализирующаяся на промышленных программных решениях и услугах для аддитивного производства. На текущий момент бренд предлагает два продукта: VoxelDance Additive и VoxelDance Tango.V...

Компрометация данных и её обнаружение  Приветствую, Хабр! Меня зовут Никита Титаренко, я инженер в компании «Газинформсервис», студент СПбГУТ им. проф. М.А. Бонч-Бруевича. Мои профессиональные задачи связаны с созданием уязвимых сред и эксплуатацией данных уязвимостей на киберполигоне в компании. Информация...

Samsung готовит к релизу One UI 6.1.1 Сегодня западные журналисты со ссылкой на свои источники официально сообщили, что компании Samsung и Google совместно работают над разработкой новых функций искусственного интеллекта для своих линеек смартфонов. Более того, инсайдеры сообщают, что некоторые технологии уже ра...

[Перевод] Миграции в YDB с помощью «goose» Любой более или менее серьезный продакшен, работающий с базой данных, подразумевает процесс миграции - обновление структуры базы данных от одной версии до другой (обычно более новой) [источник].Миграции в БД можно делать вручную или использовать для этого специальные утилиты...

3D-сканирование как инструмент обратного инжиниринга агрегатов 3D-Сканирование как инструмент обратного проектирования. Как известно, метод обратного проектирования в области машиностроения – это процесс изучения существующих физических объектов для определения их свойств, в зависимости от поставленной задачи. Это может быть как из...

Идеальный отзыв (UGC) Я взяла цитату из комментария к своей предыдущей статье @newintellimouse для того, чтобы порассуждать об идеальном пользовательском контенте. Также на создание статьи меня натолкнула мысль моего коллеги аналитика Никиты Сушкова о том, что один из трендов в обработке пользов...

[Перевод] Взламываем головное устройство автомобиля Nissan В комплекте с моим Nissan Xterra поставлялось современное (на то время) головное устройство с сенсорным экраном, встроенной навигацией, дисплеем камеры заднего вида, мультимедийными функциями и возможностью подключения смартфона. Некоторые из самых продвинутых функций досту...

Правильная работа с базой данных на Python Эта статья рассчитана в большинстве своём на новичков. Тут мы поговорим о том, как не упереться в лимиты подключений к базе, и чтобы приложение в продакшн не упало. Читать далее

Нейросети для программистов: уже что-то умеют или еще пока совсем джуны? Я Григорий Тумаков, CTO в Моризо Диджитал. Эта статья — про то, как мы в компании решили протестировать нейросети для рабочих задач.Для начала опросил коллег, кто и чем уже пользовался для облегчения процессов разработки. Затем суммировал свой опыт, добавил комментарии колле...

7 примеров ИИ, которых не хватает прямо сейчас Писать статьи для блога вместо авторов? Генерировать картинки на сайт вместо веб-дизайнеров? Дописывать код за стажерами, которые активно вкатываются в IT после трех месяцев обучения на каких-нибудь курсах? Этим уже никого не удивить.Но ведь у нейросетей есть и более интерес...

В Rutube начали тестировать автоматические субтитры для видео Команда отечественного видеохостинга Rutube объявила о запуске новой полезной функции в тестовом режиме – автоматически сгенерированных субтитров.  Включить их можно с помощью кнопки на видеоплеере или клавиши «С».  Сгенерировано нейросетью ...

О точности вычислений: как не потерять данные в цифровом шуме Специалист отдела перспективных исследований компании «Криптонит» Игорь Нетай изучил процесс потери точности вычислений и написал библиотеку, доступную на GitHub, которая помогает разработчикам контролировать точность расчётов на каждом этапе вычислений. Данная библиотека ос...

[Перевод] Красота замыканий До того, как Java 7 вышел, я хотел написать в своем блоге статью о различных предложениях для Java 7, касающихся замыканий. Однако, когда я начал писать эту статью, я обнаружил, что начать ее без какого-либо введения в замыкания очень трудно. Со временем введение стало насто...

Call Activity vs SubProcess: В чём отличие? Приветствую моих читателей! Меня зовут Екатерина. Ранее 3.5 года я администрировала bpm-систему, сейчас вот уже более двух лет я работаю системным аналитиком и развиваю нашу собственную bpm-систему. В данной статье хочу рассказать о дилемме, с которой столкнул...

Использование Postgres и JSONB для хранения товаров, характеристик и цен Всем привет! Меня зовут Александр, в данное время я на фрилансе занимаюсь проектом по созданию очередного маркетплейса. В процессе работы мы столкнулись с далеко не новой проблемой организации хранения информации о товарах, имеющих различные характеристики и цену, зависящую ...

Insta360 представила экшн-камеры Ace и Ace Pro в стиле GoPro с откидными экранами и функциями ИИ Компания Insta360 представила две новинки в серии фирменных экшн-камер - Ace и Ace Pro. Новинки позаимствовали дизайн популярной серии Hero от GoPro, но важным изменением возможностью поднимать 2,4-дюймовый сенсорный экран на задней панели для удобства ведения видеоблог...

Некоторые аспекты позитивной и негативной моделей платформы «Вебмониторэкс» Каждый новый специалист нашей практики Защиты приложений проходит нечто среднее между посвящением и стажировкой. Обычно в рамках задачи нужно развернуть уязвимое приложение, WAF одного из наших фокусных партнеров, а потом найти конкретную уязвимость, проэксплуатировать ее, п...

Что общего между раком крови, лазерами и нейронными сетями? Доброго времени суток, дорогой Habr, надеюсь вы успели заскучать после 3-х месяцев паузы (ссылка на прошлую статью). На связи снова Николай Иванов и сегодня вы узнаете, что общего между раком крови, лазерами и машинным обучением.  В этой статье мы поговорим с вами о мет...

[Перевод] Построение архитектур для обработки данных в режиме реального времени при помощи Apache Kafka, Flink и Druid Командам, которые занимаются обработкой данных (поступающих пакетными партиями в рабочих потоках) сложно соответствовать современным требованиям по обработке данных в режиме реального времени. Почему? Потому что пакетный поток данных – от доставки данных до их дальнейшей о...

Эксперименты с цифровым КИХ фильтром в плате FPGA MCY316 В своей предыдущей статье я написал, как произвести оцифровку звукового сигнала FPGA платой MCY316. В том проекте данные полученные из АЦП просто передавались в компьютер через последовательный порт. Уже на компьютере данные принимались из последовательного порта программой ...

[Перевод] Angular на стероидах: наращиваем производительность при помощи WebAssembly В этом посте продемонстрировано, как с лёгкостью использовать WebAssembly внутри приложения, написанного на Angular. Иногда в приложении на Angular требуется выполнить задачу, которая в JavaScript завершается не слишком быстро. Конечно, можно переписать алгоритм на другом яз...

Автоматизируем сеть Яндекса с Милошем: сервис конфигураций оборудования Задумывались ли вы о том, как изменить конфигурацию сразу на нескольких сетевых устройствах? Что, если нужно сделать это на всей сети с сотнями и тысячами единиц оборудования? А что, если приходится делать это каждый месяц на железе от пяти разных производителей? Очевидное р...

RESTinio-0.7.0: первый существенный релиз за три года В последний раз статья, целиком посвященная открытому проекту RESTinio, вышла на Хабре в декабре 2020-го года, без малого три года назад. Это был рассказ о релизе версии 0.6.13. По сути, это был последний релиз, в котором в RESTinio появилось что-то новое и важное. Потом был...

Как интегрировать мультиаккаунт в уже работающий сервис и не поломать всё Многие мобильные приложения, от социальных сетей до стриминговых сервисов, позволяют авторизоваться. Это открывает доступ такой функциональности, как история действий, список избранного, хранение и синхронизация между устройствами созданного пользователем контента, персонали...

[Перевод] Как избирательное забывание помогает в обучении ИИ Удаление определенной информации в процессе обучения помогает моделям машинного обучения быстрее и лучше осваивать новые языки.Группа ученых в области компьютерных наук придумала более гибкую модель машинного обучения. В чем особенность: модель должна периодически забывать к...

5 функций камеры Xiaomi, добавляющих крутые спецэффекты на фото и видео Камера смартфонов Xiaomi не только делает детализированные фото и записывает классные видео, но и предлагает немало интересных фишек, позволяющих владельцу проявить свой креатив. Если вы из тех, кто хочет не просто сделать снимок или записать ролик, а желает превратить его ...

Альфа-Банк: машинное обучение с промышленным подходом Павел Николаев, начальник управления технологий машинного обучения Альфа-Банка, – о запуске экосистемы для разработки и внедрения моделей машинного обучения, с помощью которой удалось радикально ускорить процессы создания и запуска моделей.

Apache Flink: динамическое определение выходного топика в Kafka Всем привет, меня зовут Александр Бобряков. Я техлид в команде МТС Аналитики, занимаюсь Real-Time обработкой данных. Мы начали использовать фреймворк Apache Flink, и я решил поделиться на Хабре своим опытом внедрения этой технологии в цикле статей.В предыдущей статье — «Apac...

Как провести unit-тестирование Flink-операторов: TestHarness Привет всем, на связи снова Александр Бобряков, техлид в команде МТС Аналитики. Продолжаем цикл статей про фреймворк Apache Flink.Напомню, в предыдущих частях я рассказывал про построение пайплайна Kafka-to-Kafka с промежуточным разделением потока и дедупликацией событий. Та...

Оценка эффективности программ обучения В этой статье мы поговорим о том, почему оценка эффективности программ обучения является неотъемлемой частью образовательного процесса, какие методы и подходы можно использовать для оценки и какие инструменты могут помочь в этом нелегком деле.Статья адресована HR-специалиста...

Прогнозирование временных рядов с помощью библиотеки Skforecast В открытом доступе существует огромное число библиотек для построения моделей машинного обучения в Python. Самые популярные — scikit-learn, XGBoost, LightGBM, Catboost, PyTorch. Каждая из них позволяет построить регрессионную модель для прогнозирования на временных рядах, ...

Цифровой двойник кустовой площадки добывающих и нагнетательных скважин Мы закончили еще один интересный проект - цифровой двойник кустовой площадки добывающих и нагнетательных скважин, которая предназначена обучения операторов добычи и персонала, связанного с работой на кустовых площадках. Читать далее

GigaChat и русский жестовый язык Всем привет! Меня зовут Капитанов Александр, я отвечаю за направление компьютерного зрения в SberDevices. В этой статье я расскажу о том, как моя команда Vision RnD разработала серию моделей SignFlow, обеспечивающих перевод с жестового языка на русский и американский английс...

Автомобили Volkswagen ID теперь смогут обеспечивать ваш дом электроэнергией до 2 дней Volkswagen анонсировал новую функцию Vehicle to Home, которая добавляет двунаправленную зарядку в электрические модели ID. Это означает, что электромобили VW теперь смогут обеспечивать питанием целую семью в течение двух дней, используя энергию, накопленную в их батарея...

Cloud Spark от VK Cloud — простой доступ к инструментам анализа больших данных Cloud Spark — облачный сервис на основе Managed Kubernetes и Apache Spark для распределенной пакетной и потоковой обработки данных, работы с Machine Learning и аналитикой.  С помощью сервиса вы можете структурировать данные из разрозненных источников для создания аналитич...

Айфон сам отправляет платные SMS за границу. Вы можете лишиться всех денег Большинство из нас привыкли контролировать все процессы, которые происходят на наших смартфонах. К сожалению, быть в курсе абсолютно всего, что делает операционная система, просто невозможно. Есть вещи, которые происходят в фоновом режиме, и контролю со стороны владельца ап...

Apple поняла, чего не хватает людям, и решила выпустить домашних роботов с ИИ Чуть больше месяца назад стало известно, что Apple свернула проект по созданию собственного электромобиля Apple Car, который разрабатывала целых десять лет. Вокруг него ходило много разных слухов и домыслов, но результат в итоге оказался неутешительным. Что-то пошло не так,...

Как с помощью YouTube продать умных столов на 25 млн за 1 год без вложений в рекламу Меня зовут Матасов Иван, я сооснователь бренда Mensa Design. Мы изготавливаем лучшие в мире индивидуальные проекты умных столов и кабинетов на заказ. Дорого. Качественно. Под ключ.В этой статье расскажу основные принципы создания видео, которые набирают миллионы просмотров (...

Новая эпоха в развитии смартфонов или просто очередной необычный гаджет? Представлен Rabbit R1 — устройство с собственным ИИ, который делает всё сам Возможно, именно так будут выглядеть гаджеты ближайшего будущего, которые заменят смартфоны. Стартап Rabbit представил устройство под названием R1, которое опирается на искусственный интеллект и может делать условно всё.  Конечно, очень условно, но всё же. Основна...

iOS 18 добавит новый режим в AirPods Pro Марк Гурман из Bloomberg пишет, что AirPods Pro не претерпит каких-либо аппаратных изменений в 2024 году. Однако он заявил следующее: «Большой новостью станет новый режим слухового аппарата, который появится вместе с iOS 18». AirPods уже предлагают функ...

IT-романтика наперекосяк: ИИ-возлюбленные оказались сборщиками ваших данных Забудьте о розах и шоколадных конфетах, этот День святого Валентина сопровождается леденящей душу технореальностью: так называемые «ИИ-девушки» могут выведывать самые сокровенные тайны собеседников-людей. В докладе, подготовленном в рамках проекта Mozilla Privacy Not Include...

Go: передача значений VS передача указателей Go - один из немногих языков, в которых структуры можно передавать параметрами и возвращать из функций как по значению, так и по указателю. Это приводит к большей выразительности языка, но также разделяет общество разработчиков Go на два лагеря: сторонников указателей и стор...

Чему научился ИИ в смартфонах, что может Google Gemini Nano и что предлагает Яндекс Крупные технологические компании стремятся создать лучшие инструменты генеративного ИИ для пользователей, разработчиков и других компаний. Например, Google предлагает Gemini, который является как брендом для их чатбота ИИ, так и базовой большой языковой моделью (LLM), на ко...

Вакуумируй это: сбор и удаление мусора в базе данных Greenplum Всем привет! ITSumma на связи! Недавно — 8 февраля мы провели вебинар о мониторинге и обслуживании реляционной базы данных Greenplum. При всех своих достоинствах у Greenplum есть подводные камни, о которых стоит знать разработчикам и администраторам. Один из таких потен...

Системы автоматизации, SGRC Современная кибербезопасность включает в себя множество различных аспектов, объектов и субъектов защиты: информационные активы компании (ИТ-системы, бизнес-приложения, серверы, рабочие станции, сетевое оборудование), файлы и данные в самых разных форматах (от структурированн...

Всё что вы хотели знать про ACL в Active Directory В данной статье я постарался максимально полно и глубоко рассказать про построение и внутреннее использование ACL (Access Control List) внутри Active Directory. В этой статье нет рассказов про "null DACL" и "empty DACL" и тому подобного. Если читатель хочет изучить все более...

Делаем crackme. Часть вторая: шифруем функции Эта статья вторая в цикле по созданию crackme под linux amd64. В этой части мы создадим исполняемый файл, в котором каждая функция будет зашифрована собственным ключом, и будет расшифровываться только на время исполнения. Процесс создания будет полностью автоматизирован, то ...

Как запустить WebRTC на сервере, или как я пилю вебкам Всем привет!Хотел логически подвести к этому абзацу в конце предыстории, но побоялся, что не все до туда дочитают, т.к. статья техническая и душная.ДИСКЛЕЙМЕР: это не бескорыстный акт передачи знаний с моей стороны. Я пытаюсь найти инвестиции для своего проекта и создал чат ...

ML в животноводстве. Как ГК «Русагро» училось считать поголовье свиней Привет, Хабр! В сентябре мы провели конференцию «Инфраструктура для ML и AI, виды дрифтов ML-моделей, Computer Vision в животноводстве». Обсудили, как разные компании используют машинное обучение в работе, поговорили о трендах и инструментах построения production ML-систем ...

Эффективные вложения в ИТ: Как посчитать ROI при внедрении ПО на примере системы маскирования данных Всем привет! Меня зовут Али Гаджиев, я Директор по продукту в компании Crosstech Solutions Group. Мы с моими коллегами Продакт-менеджером Дмитрием Симаком и Руководителем отдела анализа данных и машинного обучения Владимиром Коршуновым решили поднять ту тему, которую, зачаст...

Сложность алгоритмов. Разбор Big O Сложность алгоритмов - это ключевой аспект при проектировании и создании веб-приложений, особенно при работе с большим объемом данных или выполнении вычислительно сложных операций. Понимание, как оценивать сложность алгоритмов, помогает принимать обоснованные решения в выбор...

Nvidia укрепит связи с Вьетнамом и поддержит развитие искусственного интеллекта Исполнительный директор американского производителя чипов Nvidia заявил, что компания расширит свое партнерство с ведущими технологическими фирмами Вьетнама и поддержит страну в обучении специалистов. Nvidia, которая уже инвестировала во Вьетнам 250 миллионов долларов, ...

[Перевод] Почему B-деревья быстрые? B-дерево — это структура, помогающая выполнять поиск в больших объёмах данных. Она была изобретена более сорока лет назад, однако по-прежнему используется в большинстве современных баз данных. Хотя существуют и более новые структуры индексов, например, LSM-деревья, ...

15+ полезных ссылок для начинающего специалиста по Data Science Привет, Хабр! Меня зовут Раф. Сейчас я работаю аналитиком ценообразования в Яндекс Лавке, куда попал после стажировки в команде аналитики Яндекс Браузера. Параллельно учусь в НИУ ВШЭ и уже успел пройти курс «Специалист по Data Science» в Практикуме.В этой статье я собрал пол...

Теоретические основы всех популярных алгоритмов машинного обучения и их реализация с нуля на Python В данной статье в виде ссылок представлены все популярные алгоритмы классического машинного обучения с их подробным теоретическим описанием и немного упрощённой реализацией с нуля на Python, отражающей основную идею. Помимо этого, в конце каждой темы указаны дополнительные и...

Как малые и средние компании по заказной разработке ПО живут без системных аналитиков? Плохо, но они этого не понимают. Распределяют их должностные обязанности между прочими сотрудниками без доплаты. Часть, связанную со сбором первичных данных берёт на себя менеджер проектов с воплем-лозунгом «Не умею, но сделаю»; часть, связанную с проектированием берут на се...

[Перевод] Создаём сортировщик деталей Lego Technic, распознающий объекты в реальном времени Когда я проходил стажировку в Nullspace Robotics, мне повезло участвовать в проекте, нацеленном на расширение возможностей компании. Мы совместили системы обнаружения объектов и распознавания изображений для создания модели, классифицирующей детали конструктора Lego Technic...

Высокоточное измерение ЭКГ. Часть 2 В данной статье изложу свою концепцию регистрации и обработки сигналов ЭКГ в носимых устройств для  решения задач обнаружения  опасных состояний сердечно-сосудистой системы человека.   Далее рассмотрю кратко реальную точность измерения ЭКГ и свой вариант ее по...

[Перевод] Как проанализировать риски: 4 шага Оценка потенциальных рисков и их влияния на бизнес-операции играет ключевую роль в обеспечении успеха проектов и стратегий организации. Риск-менеджеры проводят анализ, используя различные методы и расчеты, чтобы определить вероятность возникновения рисков и разработать планы...

Подписываем образы контейнеров с помощью cosign, garantir и skopeo Открытые контейнерные платформы, такие как OpenShift, стали неотъемлемой частью современной разработки и управления приложениями. Они обеспечивают удобство и надежность развертывания приложений в контейнерах, обеспечивая изоляцию, масштабируемость и управление ресурсами. Одн...

Нейросетевое око на страже качества: ИИ заменяет операторов промышленного производства. Или нет? Привет, Хабр! ИИ уже отбирал работу у веб-дизайнеров, программистов и копирайтеров. Теперь он пришел за операторами производственных цехов. Интеллектуальная видеоаналитика давно помогает нам обрабатывать материалы точнее, да и в целом автоматизировать и отлаживать произ...

[Перевод] Hono vs. H3 vs. HatTip vs. Elysia — современные замены Express для сервера (или без сервера) H3 отмечает, что Express.js - старый и малоразвивающийся фреймворк, являющийся не оптимальным выбором для новых проектов из-за потенциальных проблем безопасности и утечек памяти, что, к слову, касается и Koa.В нашей статье мы сделаем акцент на фреймворках, поддерживающих зап...

Если бы наступающий 2024 год был машиной, то как бы он выглядел, и почему именно так? Почти все самые важные и интересные финансовые новости в России и мире за неделю: налоговая спрашивает с россиян за поездки в 2022 году, загранпаспорта с опечатками начали отбирать на границе, Россия с Европой и США меряются конфискациями активов, а нейросеть пытается накоди...

AMD и BlackBerry стали партнёрами. Компании будут продвигать роботизированные системы следующего поколения Компании AMD и BlackBerry объявили о заключении партнёрства.   В своём пресс-релизе он объявили об объединении усилий по продвижению роботизированных систем следующего поколения. В документе сказано, что новые платформы реального времени на базе системы AMD Kria K...

[Перевод] Распаковываем архив gzip вручную. Часть 2 В этой части мы, как и в первой, разархивируем файл gzip вручную, но теперь ещё и декодируем коды Хаффмана. Для начала запишем данные на диск: $ echo "hector the frantic father on an anchor or a rare fat cat sat on the ranch" > test-huff.txt $ xxd test-huff.t...

[Перевод] Шардирование баз данных и проектирование систем Шардирование базы данных — это процесс её разделения на несколько машин, что способствует масштабируемости приложения. Механизм шардирования предполагает разбиение данных на два или более мелких фрагмента, называемых логическими шардами. Затем логические блоки распределяют...

Разрабатываем дизайн-концепцию IT-системы: этапы аналитики и дизайна Привет, Хабр! Меня зовут Юлия, я старший аналитик-проектировщик компании SimbirSoft. Работаю в сфере IT более 10 лет, в моем портфолио создание более 20 IT-систем для различных проектов: флагмана металлургии, медицинского проекта (6 стран присутствия), автомобилестроительной...

Российская орбитальная станция получит суперкомпьютер Заместитель генерального конструктора Ракетно-космической корпорации «Энергия» (входит в Роскосмос), главный конструктор Российской орбитальной станции (РОС), Владимир Кожевников, заявил, что РОС получит суперкомпьютер, который будет обрабатывать данные...

Рыночные данные в кармане: как получать их быстро и просто с помощью Java/Kotlin и Spring Boot + TinkoffApi Если вы хотите написать проект, связанный с рыночными данными или торговлей на бирже, и вы знакомы с Java или Kotlin и слышали про Spring Boot, то эта статья для вас Читать далее

Цифровой паспорт оборудования промышленного производства Привет, привет! Представлюсь: меня зовут Тамара, и я являюсь ведущим инженером по нормативно-справочной информации в компании Bimeister.Начну с того, что это лишь малая часть той большой истории, которую я хочу вам рассказать.Будет много вопросов типа «Что это?», «Для чего н...

Представлена уникальная веб-камера Creative Live! Meet 4K Во времена пандемии коронавируса многим компаниям стало ясно, что нет необходимости в личном контакте для выполнения определенных задач. При наличии необходимого оборудования специалисты в самых разных сферах деятельности могут успешно работать удалённо, общаясь друг с друго...

Россиянам рассказали о новом мошенничестве для получения доступа к «Госуслугам» Мошенники разработали новую хитрую схему, чтобы получить доступ к личным данным клиентов крупных мобильных операторов связи. Злоумышленники создают фишинговые сайты, которые выглядят как порталы операторов, и отправляют абонентам push-уведомления, предлагая подтвердить свои ...

МТС тестирует «Рой 9» - возможность для пользователей сдавать в аренду свои устройства для обучения нейросетей Оператор МТС тестирует платформу машинного обучения на сторонних устройствах под названием «Рой 9». На ситуацию обратили внимание в издании «Коммерсантъ».  Сгенерировано нейросетью Midjourney В МТС пояснили, что сейчас проект подразумевает ...

В России создают первую базу научных публикаций по искусственному интеллекту Силами компаний — участников Альянса в сфере искусственного интеллекта, в который входит Сбер, в России создаётся первая база научных публикаций по AI. Об этом в кулуарах форума «Открытые инновации» рассказал первый заместитель председателя правления С...

Как я рефакторила Ansible-плейбуки с помощью нейросети. Плюсы и минусы ChatGPT Работать с большими Ansible-плейбуком не всегда удобно — в нем трудно читать и переписывать код. В этой статье я поделюсь опытом — расскажу, как «распилила» плейбук на 1000 строк с помощью ChatGPT и как нейросеть справилась с этой задачей. Подробности — под катом. Читать да...

Intel увеличила производительность в играх на 155% Хотя, если посмотреть на ситуацию с другой стороны, то перед нами пример того, как не стоит делать. Получается, что изначально был выпущен настолько сырой и халтурный продукт, что, потрудившись над ним чуть более продолжительное время, его удалось радикально улучшить. А по...

Запрет США на поставки ускорителей Nvidia открывает огромные возможности для Huawei Меры США по ограничению экспорта передовых чипов с технологиями искусственного интеллекта (ИИ) в Китай могут открыть перед Huawei огромные возможности по импортозамещению на внутреннем рынке, о чем пишет Reuters. В то время как Nvidia исторически была ведущим поставщико...

Как я учил нейросеть играть в Rocket League Rocket League - это соревновательная игра, в которой управляя машинкой на футбольном поле, нужно забить мяч в ворота противника. Такая интерпретация футбола на машинках. Звучит просто, но на деле игра требует определенных навыков и не так проста, как может показаться на перв...

Нейросети, виртуальная реальность и Бог-солипсист Несколько недель тому назад компания OpenAI анонсировала скорый выход нейросети SORA, способной создавать связный осмысленный видеоряд из простого текстового описания того, что вы хотите увидеть. То, как работает эта нейросеть, можно узнать из великолепной статьи "Настоящее ...

Что эффективнее — усложнять модель или увеличивать количество данных? Статья "Необоснованная эффективность данных", написанная сотрудниками Google в 2009 году, говорит нам: "Простые модели с множеством данных превосходят сложные модели с меньшим количеством данных". Этот принцип заложен в основу подхода, ориентированного на данные (Data-driven...

Метановый сюрприз — пруды оказались мощным источником парниковых газов Водоемы оказались мощным источником парниковых газов Уже долгое время углекислый газ считается основным парниковым газом, который приводит к глобальному изменению климата. Однако ученые стали замечать, что в атмосфере последние десятилетия растет содержание метана, еще более...

Удалённая переустановка Raspberry Pi OS по ssh На habr'е уже была публикация про удаленную переустановку Linux по ssh. Воистину, так гланды ещё никто не удалял… Я подивился находчивости и целеустремлённости автора, и искренне пожелал себе, чтобы материал никогда не пригодился на практике.Но внезапно мне понадобилось пере...

[Перевод] Как Figma удалось открыть себе путь к почти бесконечному масштабированию баз данных О нашем девятимесячном пути к горизонтальному шардингу Postgres-стека Figma и о возможности обеспечения (почти) бесконечной масштабируемости.Вертикальное разбиение было относительно простым и важным инструментом масштабирования, позволившим нам быстро добиться существенных у...

Мониторинг сервисов Carbonio Корректная работа каждого из узлов Carbonio - залог корректной работы всего почтового сервера. Для того, чтобы обеспечить максимально быстрое реагирование на сбои и заблаговременно выявлять предпосылки к их возникновению, необходимо ведение постоянного мониторинга состояния ...

От конструктора до облака: какие есть способы разработки мобильных приложений Привет! На связи Вася Крючков, уже больше 7 лет я занимаюсь разработкой мобильных приложений и сейчас работаю в компании IMSHOP.IO, где за 5 лет разработали больше 150 приложений для ритейла. За эти годы часто встречал случаи, когда е-com менеджеры и технические директора сл...

АСМОграф — замена Microsoft Visio, MapInfo и в какой-то мере даже AutoCAD Многим компаниям сегодня приходится менять привычное программное обеспечение, потому что лицензии на западное ПО не удается продлить, а работа приложений становится нестабильной. В этом посте мы подробнее расскажем про векторный редактор АСМОграф, который уже несколько лет я...

Разница между pool.map и pool.map_async в Python Еще одна статья-шпаргалка о модуле multiprocessing в Python, без воды, от новичка для новичков многопроцессорного программирования.pool.map и pool.map_async являются методами модуля multiprocessing.Pool в Python, которые позволяют параллельно выполнять функции на нескольких ...

Как мы запустили автобиддер для управления рекламными кампаниями в Ozon? Привет! Меня зовут Артём, я руковожу командой эффективности рекламы в Ozon. Наша задача состоит не только в том, чтобы реклама приносила деньги компании, заказы рекламодателям и была релевантной для пользователей, но и в том, чтобы сделать запуск рекламных кампаний удобным и...

Развертывание защищенного dev кластера bitnami/kafka в k8s с помощью helm Всем привет. На этот раз хотел бы поделиться материалом, связанным непосредственно с devops работой. Недавно возникла потребность раскатить kafka кластер в kubernetes. В ходе развертывания возникло очень много сложностей, встречено множество подводных камней, и, естественно,...

Хранение данных: как минимизировать риски с помощью DCAP Компаниям важно, чтобы личные данные сотрудников, конфиденциальная информация клиентов и документы с грифом «коммерческая тайна» были надежно защищены. С каждым годом такой информации становится больше и она подвергается все новым рискам. Параллельно ужесточаются наказания о...

На Луне хотят построить железные дороги для езды между лунными станциями В будущем на Луне появится железнодорожный транспорт. Изображение: нейросеть DALLE-3 Единственным космическим объектом, который когда-либо был посещен людьми, остается Луна. У человечества на нее очень большие планы: во-первых, в ближайшие несколько лет туда хотят вернуться ...

Когда цифры имеют значение: имитационное моделирование для улучшения эффективности В современном мире цифровая трансформация распространяется на все больше отраслей и сфер жизни, а одним из ключевых решений такой трансформации становится создание цифровых двойников (ЦД). ЦД представляют собой разработанные с высокой степенью точности виртуальные копии физи...

О разжиревшей ИС «Управления проектами» или как мы боролись с ограничениями SharePoint в legacy проекте В этой статье мы опишем наш опыт работы с очень большой системой управления проектами, реализованной на SP, с какими ограничениями мы столкнулись и как добились похудения данной ИС. Читать далее

В поиске оптимального подхода к миграциям в Go Привет! Меня зовут Нина, и я Golang разработчик.Однажды, мы поняли, что в нашей компании очень много Go-сервисов, но каждая команда использует свой инструмент и подход. Поэтому мы решили систематизировать и унифицировать инструменты, используемые для создания и применения ми...

Подключение устройств из Sprut.hub в Wirenboard Доброго времени. К написанию данной статьи подтолкнула ситуация, что вроде элементарная задача получить данные с установленного модуля Sprut.hub в родительский WirenBoard, вызвала определенные сложности. Поиском находится разрозненная информация. В чатах вопрос всплывал не е...

Сушилка CREALITY Space Pi DB-03 : Выводы и инструкция по применению. По моим подсчётам, доля добавленной стоимости сильно больше скромной, но всё же не на порядок.Учитывая что спрос на сушилки высокий, а предложений от конкурентов, как говорится - раз, два и обчёлся, то это предложение уже праздник :(Тем более, что 120% позволит вам понтовать...

Смартфоны Pixel научились заменять лица людей на фото, удалять объекты, изменять их размеры и очищать звук. Это всё новые функции Google Photos Кроме уникальной функции Video Boost новые смартфоны Pixel предложат и менее необычные, но, возможно, более полезные функции для камеры.  Первая называется Best Take. Google говорит, что эта функция использует фотографии, которые вы сделали, чтобы получить фотогра...