Matthew Watson, Divyashree Shivakumar Sreepathihalli, François Chollet, Martin Görner, Kiranbir Sodhia, Ramesh Sampath, Tirth Patel, Haifeng Jin, Neel Kovelamudi, Gabriel Rasskin, Samaneh Saadat, Luke Wood, Chen Qian, Jonathan Bischof, Ian Stenbit. “KerasCV and KerasNLP: Vision and Language Power-Ups.” [PDF8].
François Chollet, et al. “Keras: The Python Deep Learning library.” Journal of Machine Learning Research 22.3 (2021): 1-7.
Thomas Wolf, et al. “Transformers: State-of-the-Art Natural Language Processing.” Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations. 2020.
原始论文：
[PDF8] KerasCV and KerasNLP: Vision and Language Power-Ups
在机器学习领域，Keras是最常用的工具之一，它提供了高层次的抽象来构建和训练机器学习模型。近年来，计算机视觉（CV）和自然语言处理（NLP）的发展给从业者带来了新的挑战。一方面，随着模型规模的不断增大，从头开始训练一个最先进的模型变得成本过高；另一方面，有效的数据预处理和度量计算也变得更加困难。为了解决这些问题，研究人员提出了KerasCV和KerasNLP这两个库，它们是Keras API在CV和NLP领域的扩展。
KerasCV和KerasNLP的设计目标：
KerasCV和KerasNLP旨在提供易于使用且性能优越的工具，支持在JAX、TensorFlow或PyTorch等深度学习框架上运行，以促进快速实验和模型开发。它们采用了模块化和分层的设计思想，为用户提供了不同层次的抽象和灵活性。
KerasCV和KerasNLP的主要功能：
KerasCV和KerasNLP的性能表现：
论文中提供了KerasCV和KerasNLP在不同模型上的性能测试结果。例如，使用NVIDIA A100 GPU进行的实验显示，KerasCV和KerasNLP在模型训练和推理方面具有良好的性能。论文还与HuggingFace Transformers库进行了比较，突出了KerasNLP和KerasCV的设计哲学和方法的优势。
未来的研究方向：
论文中还提出了一些可以进一步探索的研究方向。例如，扩展多模态模型的提供，以支持更广泛的应用；优化与后端特定大型模型服务解决方案的集成，确保无缝部署和可扩展性。
总之，KerasCV和KerasNLP为CV和NLP领域的研究人员和从业者提供了强大而易用的工具。它们的模块化和分层设计使得构建和训练模型变得更加简单和高效。通过提供预训练的模型骨干和任务模型，以及支持XLA编译和tf.data API的高效训练支持，KerasCV和KerasNLP为CV和NLP任务的快速实验和模型开发提供了便利。
参考文献：
KerasCV和KerasNLP的相关论文：
更多关于KerasCV和KerasNLP的信息可以在官方网站和GitHub上找到。
原始论文：