Genie Code превращает идеи в области инженерии данных, Data Science и аналитики в автономные производственные системы
Databricks, компания в сфере данных и ИИ, сегодня представила Genie Code — автономного ИИ-агента, который коренным образом меняет процесс работы с данными. Genie Code способен выполнять сложные задачи, такие как создание пайплайнов, отладка сбоев, публикация дашбордов и обслуживание промышленных систем. На реальных задачах в области Data Science компания Databricks обнаружила, что успех Genie Code более чем в два раза превышает показатели ведущих ИИ-ассистентов для кодинга. Подобно тому как агентные инструменты трансформировали разработку ПО, переведя девелоперов от автодополнения кода к разработке под управлением агентов, Genie Code приносит этот же парадигмальный сдвиг в инженерию данных, Data Science и аналитику.
Genie Code является новым дополнением к семейству Genie, которое позволяет любому сотруднику общаться со своими данными в чате и мгновенно получать достоверные ответы, используя контекст и семантику, зафиксированные в Unity Catalog. Genie Code расширяет этот подход для профессионалов по данным, беря на себя сложный инжиниринг, необходимый для прохождения пути от идеи до продакшена на всех корпоративных данных. Кроме того, сегодня Databricks объявила о приобретении Quotient AI — инноватора в области оценки и обучения с подкреплением для ИИ-агентов. Это позволит встроить непрерывную оценку (continuous evaluation) непосредственно в Genie и Genie Code.
Расцвет агентной работы с данными (Agentic Data Work)
Сегодняшние инструменты рассматривают ИИ лишь как помощника: написание кода, запуск локальных тестов, итерации. Это оставляет за специалистами самую тяжелую работу: планирование, оркестрацию, эксплуатацию, валидацию и поддержку. Genie Code инвертирует этот подход. Он вникает в суть проблем, планирует многоэтапные подходы, пишет и валидирует код промышленного уровня и поддерживает результат — при этом человек сохраняет контроль над ключевыми решениями.
«За последние шесть месяцев разработка программного обеспечения перешла от помощи в написании кода к полноценному агентному инжинирингу», — отметил Али Годси, соучредитель и генеральный директор Databricks. «Genie Code несет эту революцию командам по работе с данными. Мы переходим из мира, где ИИ лишь помогает профессионалам, в мир, где ИИ-агенты выполняют работу под руководством человека. Мы называем это Agentic Data Work. Это в корне изменит то, как предприятия принимают решения».
Возможности Genie Code
Существующие инструменты агентного кодинга часто не справляются с задачами по данным, так как им не хватает доступа к критически важному контексту, такому как происхождение данных (lineage), паттерны использования и бизнес-семантика. Genie Code помогает устранить этот разрыв:
- Действует как эксперт по машинному обучению: Genie Code полностью берет на себя ML-воркфлоу — от планирования до развертывания моделей, одновременно логируя эксперименты в MLflow и настраивая эндпоинты для пиковой производительности.
- Обладает глубокой экспертизой в Data Engineering: Если начинающий инженер может написать скрипт, работающий на тестовых данных, то Genie Code проектирует систему как старший архитектор. Он учитывает различия между staging и production средами, создает рабочие процессы для захвата изменений данных (Change Data Capture) и применяет требования к качеству данных.
- Проактивно обслуживает и оптимизирует: Genie Code отслеживает пайплайны Lakeflow и модели ИИ в фоновом режиме для сортировки сбоев и расследования аномалий. Он автономно анализирует трассировки агентов для устранения галлюцинаций и настраивает распределение ресурсов до вмешательства человека.
- Понимает корпоративный контекст: Интегрированный с Unity Catalog, Genie Code соблюдает существующие политики управления и контроля доступа. Он понимает бизнес-семантику, требования аудита и объединяет корпоративные данные, включая информацию с внешних платформ.
- Совершенствуется со временем: Genie Code становится умнее по мере использования. Благодаря постоянной памяти он автоматически обновляет внутренние инструкции на основе прошлых взаимодействий и предпочтений в коде. В тестах Databricks успех Genie Code составил 77,1% против 32,1% у других ведущих агентов.
Приобретение Quotient AI усиливает контроль качества
Чтобы гарантировать качество промышленного уровня, Databricks приобрела Quotient AI. Решения Quotient автоматически отслеживают работу агентов — измеряют качество ответов, выявляют регрессии на ранних стадиях и точно определяют места сбоев. Это питает цикл обучения с подкреплением, позволяя агентам постоянно совершенствоваться. Основатели Quotient ранее руководили улучшением качества в GitHub Copilot, и теперь их опыт поможет сделать системы данных и ИИ в Databricks самообучающимися.
О компании Databricks
Databricks — компания в области данных и ИИ. Более 20 000 организаций по всему миру, включая Adidas, AT&T, Bayer и более 60% компаний из списка Fortune 500, полагаются на Databricks для создания и масштабирования приложений, аналитики и агентов. Единая платформа Data Intelligence компании включает в себя такие продукты, как Lakebase, Genie, Agent Bricks, Lakeflow, Lakehouse и Unity Catalog.