Google Filament学习-从Android官方项目分析1

上一节将Filament编译完成,并成功运行了Google官方的Android实例程序。
Filament初探-For Android

接下来从分析Android的官方项目,分析Filament的整体架构和原理。
hello-camera工程比较简单,就一个MainActivity和相机工具类CameraHelper。

一、引入Filament库

先分析app子目录里的build.gradle:

1. 引入各种工具库

apply from: '../../../build/filament-tasks.gradle'

compileMaterials {
    group 'Filament'
    description 'Compile materials'

    inputDir = file("src/main/materials")
    outputDir = file("src/main/assets/materials")
}

preBuild.dependsOn compileMaterials

在filament-tasks.gradle里,一共引入了4个工具库(见上一节)。
可以调用三个方法来预编译某些类。

task compileMaterials(type: MaterialCompiler)

task generateIbl(type: IblGenerator)

task compileMesh(type: MeshCompiler)

而demo工程里build.gradle使用了compileMaterials方法,对src/main/materials里的lib.mat进行了预编译,生成了src/main/assets/materials里的lit.filamat文件。

当然也可以不用这种方法生成,可以手动调用matc工具进行编译:

matc -p mobile -a opengl -o app/src/main/assets/lit.filamat app/src/materials/lit.mat

材质lit.mat分析

关于Filament的材质,可以在Filament Materials里看使用说明。
Filament Materials

2.引入Filament的Android使用库

在项目的setting.gradle里引入了filament-android项目。

includeBuild '../../filament-android'

在build.gradle里进行了依赖

    // Depend on Filament
    implementation 'com.google.android.filament:filament-android'

在项目中调用了filament-android项目来使用filament for android。

二、使用Filament库

1. 初始化

调用Filament.init()
实际就做了两件事:

//初始化平台相关,主要是跟渲染界面相关
        Platform.get();
//引入filament-android里生成的filament-jni库
        System.loadLibrary("filament-jni");

看看Platform类做了什么:

//返回Platform实例,如果是Android就返回AndroidPlatform实现。
Platform get(){}

//判断平台类型
...省略

//打印log
...省略

//判断渲染窗口相关的类是否合规
    abstract boolean validateStreamSource(Object object);
    abstract boolean validateSurface(Object object);
    abstract boolean validateSharedContext(Object object);

//获取渲染sharedContext
     * @param sharedContext  A platform-dependant OpenGL context used as a shared context
     *                       when creating filament's internal context. On Android this parameter
     *                       <b>must be</b> an instance of {@link android.opengl.EGLContext}.

 abstract long getSharedContextNativeHandle(Object sharedContext);

AndroidPlatform类是Platform类的实现类。就是给下面提供EGLContext句柄,用于OpenGL渲染。

2. UI工具类 UiHelper - 桥接SurfaceView和Filament

首先看官方提供的UiHelper使用示例:

public class FilamentActivity extends Activity {
    static {
        Filament.init();
    }
    private UiHelper mUiHelper;
    private SurfaceView mSurfaceView;

    // Filament specific APIs
    private Engine mEngine;
    private Renderer mRenderer;
    
    // com.google.android.filament.View, not android.view.View
    private View mView; 
    private SwapChain mSwapChain;

    @Override
    public void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);

        // Create a SurfaceView and add it to the activity
        mSurfaceView = new SurfaceView(this);
        setContentView(mSurfaceView);

        // Create the Filament UI helper
        mUiHelper = new UiHelper(UiHelper.ContextErrorPolicy.DONT_CHECK);

        // Attach the SurfaceView to the helper, you could do the same with a TextureView
        mUiHelper.attachTo(mSurfaceView);

        // Set a rendering callback that we will use to invoke Filament
        mUiHelper.setRenderCallback(new UiHelper.RendererCallback() {
            @Override
            public void onNativeWindowChanged(Surface surface) {
                if (mSwapChain != null) {
                    mEngine.destroySwapChain(mSwapChain);
                }
                mSwapChain = mEngine.createSwapChain(surface, mUiHelper.getSwapChainFlags());
            }

            // The native surface went away, we must stop rendering.
            @Override
            public void onDetachedFromSurface() {
                if (mSwapChain != null) {
                    mEngine.destroySwapChain(mSwapChain);

                    // Required to ensure we don't return before Filament is done executing the
                    // destroySwapChain command, otherwise Android might destroy the Surface
                    // too early
                    mEngine.flushAndWait();

                    mSwapChain = null;
                }
            }

            // The native surface has changed size. This is always called at least once
            // after the surface is created (after onNativeWindowChanged() is invoked).
            @Override
            public void onResized(int width, int height) {
                // Compute camera projection and set the viewport on the view
            }
        });

        mEngine = Engine.create();
        mRenderer = mEngine.createRenderer();
        mView = mEngine.createView();
        // Create scene, camera, etc.
    }

    @Override
    public void onDestroy() {
        super.onDestroy();
        // Always detach the surface before destroying the engine
        mUiHelper.detach();

        mEngine.destroy();
    }

    // This is an example of a render function. You will most likely invoke this from
    // a Choreographer callback to trigger rendering at vsync.
    public void render() {
        if (mUiHelper.isReadyToRender()) {
            // If beginFrame() returns false you should skip the frame
            // This means you are sending frames too quickly to the GPU
            if (mRenderer.beginFrame(mSwapChain)) {
                mRenderer.render(mView);
                mRenderer.endFrame();
            }
        }
    }
}

UiHelper就是封装了SurfaceTexture和TextureView,将Android的渲染界面的变化统一为一个回调RendererCallback供外界调用。
其中有一个变量mOpaque,用来控制渲染背景是黑色的还是白色的。

还提供了一个渲染的简单使用示例,提到了需要在编舞者Choreographer的回调里使用触发渲染。

    // This is an example of a render function. You will most likely invoke this from
    // a Choreographer callback to trigger rendering at vsync.
    public void render() {
        if (mUiHelper.isReadyToRender()) {
            // If beginFrame() returns false you should skip the frame
            // This means you are sending frames too quickly to the GPU
            if (mRenderer.beginFrame(mSwapChain)) {
                mRenderer.render(mView);
                mRenderer.endFrame();
            }
        }
    }

编舞者Choreographer

编舞者Choreographer的作用之一是配合VSync使用,统一动画、绘制、输入的时机,介绍的文章挺多。
简单来说,在本例中用到了doFrame()回调,用于知道目前可以绘制了,Choreographer配合VSync的默认渲染时间是16ms,也就是60fps。当可以绘制时,会产生doFrame()回调,在这个回调里进行Filament的绘制更新。

Choreographer详解

Choreographer编舞者时序图

3. Filament的渲染过程

先利用Filament官方文档里的C++使用说明进行简要介绍。

第一步:首先需要3个类,Engine+SwapChain+Renderer,这构建了画布。

Engine* engine = Engine::create();
SwapChain* swapChain = engine->createSwapChain(nativeWindow);
Renderer* renderer = engine->createRenderer();

第二步:要渲染Frame需要3个类,View+Camera+Scene。

Camera* camera = engine->createCamera();
View* view = engine->createView();
Scene* scene = engine->createScene();

view->setCamera(camera);
view->setScene(scene);

第三步:如何将一个东西渲染到Scene呢?

//构造一个可渲染类Entity
Entity renderable = EntityManager::get().create();
// build a quad
RenderableManager::Builder(1)
        .boundingBox({{ -1, -1, -1 }, { 1, 1, 1 }})
        .material(0, materialInstance)
        .geometry(0, RenderableManager::PrimitiveType::TRIANGLES, vertexBuffer, indexBuffer, 0, 6)
        .culling(false)
        .build(*engine, renderable);
scene->addEntity(renderable);

第四步:如何生成渲染材质?
其中,
Builder& package(const void* payload, size_t size);方法传递两个参数,分别是材质的data和材质data文件的大小。
材质如何生成呢?就是在文章开头介绍的matc生成的。

Material* material = Material::Builder()
        .package((void*) BAKED_MATERIAL_PACKAGE, sizeof(BAKED_MATERIAL_PACKAGE))
        .build(*engine);
MaterialInstance* materialInstance = material->createInstance();

第五步:将view传递给renderer

// beginFrame() returns false if we need to skip a frame
if (renderer->beginFrame(swapChain)) {
    // for each View
    renderer->render(view);
    renderer->endFrame();
}

渲染步骤
生成渲染材质 --> 给可渲染的Entity --> 将Entity给scene -->scene添加到了View上 --> 每一帧调用renderre->render(view)

渲染窗口是用swapchain持有并传递到渲染引擎里,是否略过帧用renderer->begineFrame(swapchain)进行判断。

所有的view+renderer+swapchain+scene都是Engine生成的。

Android项目里使用Filament就是用NDK在java层调用上面的native代码。

4. 分析Android项目Filament

见下一节
Filament分析-从Android官方项目分析2

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 218,036评论 6 506
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,046评论 3 395
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 164,411评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,622评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,661评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,521评论 1 304
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,288评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,200评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,644评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,837评论 3 336
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,953评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,673评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,281评论 3 329
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,889评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,011评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,119评论 3 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,901评论 2 355