视觉AI之旅：一起探索 FiftyOne ——第二部分 入门指南

 

作者：Paula Ramos博士，前Intel技术布道师

编者按：文并不是逐字逐句翻译，而是以更有利于中文读者理解的目标，做了删减、重构和意译，并替换了多张不适合中文读者的示意图。

 

 

原文链接：https://medium.com/@paularamos_phd/journey-into-visual-ai-exploring-fiftyone-together-part-ii-getting-started-14cca5adfcd3

 

 

一，前言

上次我们介绍了《视觉AI之旅：一起探索 FiftyOne——第一部分丨简介丨》，今天作为FiftyOne系列的第二篇，本文将带您踏上使用这个开源工具包的激动人心的旅程，帮助您连接数据、模型和部署。也将展示FiftyOne如何在您处理2D图像、3D点云或其他视觉数据时，为您的数据集解锁真正的价值。咖啡数据集与AI工作流程的革新

二，咖啡数据集与AI工作流程的革新

1，从哥伦比亚咖啡数据集到现代机器学习应用

Paula Ramos博士曾在哥伦比亚与咖啡数据集合作，面临数据集策划、注释和处理的诸多挑战。本文将介绍FiftyOne如何转变您的工作流程，加快AI生产过程，并从数据中提取可操作的洞察。

2，耗时的AI工作流程和看不见的复杂性

AI解决方案的开发始终是耗时的。我们经常在没有完全理解数据中的模式、偏见或噪声的情况下收集数据集。FiftyOne可以帮助我们理解这些复杂性如何影响AI方程。

3，咖啡爱好者的数据集

本文将使用我的一个数据集——用智能手机相机拍摄的咖啡树枝图像集合。目标是使用语义分割任务计算树枝上的咖啡果实数量。

三，为什么选择FiftyOne？

FiftyOne是一个基于Python的API（SDK）和GUI（APP），允许您使用可操作的命令探索、策划和分析数据集。以下是一些FiftyOne的功能，您可以在我的笔记本上复制这些操作。

1，随机打乱数据集

 

 

import fiftyone as fo from fiftyone.utils.coco import COCODetectionDatasetImporter dataset = fo.Dataset.from_dir( dataset_type=fo.types.COCODetectionDataset, dataset_dir="./colombian_coffee", data_path="images/default", labels_path="annotations/instances_default.json", label_types="segmentations", label_field="categories", name="coffee", include_id=True, overwrite=True ) view = dataset.shuffle()

 

 

2，使用fiftyone brain了解您的数据集

FiftyOne的fiftyone brain功能可以帮助您理解数据集，识别潜在偏见，可视化实验关系。

3，发现独特性

 

 

import fiftyone.brain as fob fob.compute_uniqueness(dataset) # 探索最独特的样本 session.view = dataset.sort_by("uniqueness", reverse=True) # 探索最不独特的样本 session.view = dataset.sort_by("uniqueness") 4. 利用相似性搜索 python fob.compute_similarity( dataset, model="clip-vit-base32-torch", brain_key="img_sim", )

 

 

4，嵌入可视化

 

 

fob.compute_visualization(dataset, brain_key="img_viz")

 

 

四，总结

尽管目前我们在计算机视觉和机器学习方面取得了进步，但数据质量、生产时间和可扩展性等挑战仍然存在。FiftyOne通过提供以数据为中心的AI方法来解决这些挑战。

敬请期待下一篇文章，我们将探索FiftyOne的核心功能，操作数据集，并评估模型。让我们将这次与FiftyOne的旅程变成一个协作和丰富的体验。编程愉快！

我们期待听到您的经验！请在评论区分享您的看法，您的见解可能会帮助我们在下一篇文章中帮助他人。

如果你有更好的文章，欢迎投稿！

稿件接收邮箱：nami.liu@pasuntech.com

更多精彩内容请关注“算力魔方®”！

审核编辑 黄宇