仅使用自然语言,开发者通过ChatGPT生成AR应用ChatARKit

🤖 由 文心大模型 生成的文章摘要

自12月初以来,人们一直在探索OpenAI推出的对话AI ChatGPT神经网络的深度。近日,一位开发者让这款对话AI吐出了有效的AR代码。

OpenAI的ChatGPT对话AI针对生成文本和回答问题进行了优化。但12月初的初步测试很快表明,该系统不仅可以回答一些措辞简洁的句子,还可以回答编程代码。

由ChatGPT生成的AR应用程序ChatARKit

开发者Bart Trzynadlowski想知道他是否能用ChatGPT开发一款AR应用程序,只用语音命令就可以在环境中自动放置数字3D物体。他还使用OpenAI的人工智能模型Whipser来识别语音命令,然后将它们作为人工智能提示带入ChatARKit应用的JavaScript环境。

因此,ChatGPT能从Sketchfab中选择与语音命令匹配的3D物体,并根据提示将它们放在桌面或地板上。如果接收到提示,ChatGPT甚至可以缩放和旋转3D模型。人工智能系统会自行生成这方面的代码。

据Trzynadlowski表示,这些是一些有效的提示样本:

“在最近的平面上放置一个立方体。”

“将一个旋转的立方体放在地板上。”

“把一辆跑车放在桌子上并旋转90度。”

“把一辆校车放在最近的平面上,让它沿着平面来回行驶。”

根据Trzynadlowski的说法,ChatGPT的工作并不可靠。对于相同的命令,人工智能模型会产生截然不同的输出,并在应用程序中放置不正确的JavaScript代码行。有时,ChatGPT会将对象描述转化为代码标识符,这意味着无法再从Sketchfab检索到3D模型。

Trzynadlowski在Github上将他的ChatGPT AR应用作为开放源代码免费提供。

用自然语言在VR中生成3D物体

对于VR,开发者Jasmine Roberts最近展示了OpenAI新的3D人工智能Point-E,像图像人工智能DALL-E 2一样,它可以仅基于文本输入生成内容。然而,Point-E生成的不是图像,而是代表3D模型的3D点云。每次生成,Point-E在单个Nvidia V100 GPU上只需要大约一到两分钟。值得一提的是,Roberts的演示是实时运行的。

Point-E是OpenAI在文本转3D合成方面进一步工作的起点。谷歌与Dreamfusion,以及Nvidia与Magic3D最近也推出了文本转3D系统,这可能在未来3D内容的进一步传播中发挥重要作用,而这也是元宇宙理论的一个基本假设。

来源:mixed-news

「93913原创内容,转载请注明出处」