シリコンバレー ビッグデータ プロジェクト Flink リアルタイム データ ウェアハウス 2021 年 9 月

2021 年 9 月のシリコンバレー ビッグデータ プロジェクトにおける Flink リアルタイム データ ウェアハウスのリソースの簡単な紹介:

コースカタログ

01_上海シリコンバレー ビッグデータ リアルタイム データ ウェアハウス_データ収集レイヤー_V2.0.pdf

02_上海シリコンバレー ビッグデータ リアルタイム データ ウェアハウス_DWD レイヤー データ準備_V2.0.pdf

03_上海シリコンバレー ビッグデータ リアルタイム データ ウェアハウス_DWM レイヤー ビジネス実装_V2.0.pdf

04_上海シリコンバレー ビッグデータ リアルタイム データ ウェアハウス_DWS レイヤー ビジネス実装_V2.0.pdf

05_シリコンバレー ビッグデータ リアルタイム データ ウェアハウス_ClickHouse_V2.0.pdf

06_上海シリコンバレー ビッグデータ リアルタイム データ ウェアハウス_データ視覚化インターフェース実装_V2.0.pdf

07_上海シリコンバレー ビッグデータ リアルタイム データ ウェアハウス_最適化_V2.0.pdf

シリコンバレーのビッグデータプロジェクトのFlinkリアルタイムデータウェアハウス.xmind

シリコンバレー ビッグデータ リアルタイム データ ウェアハウス_FlinkCDC.pdf

リアルタイム データ ウェアハウス.png

001-コース紹介.mp4

002-プロジェクト紹介.mp4

003-コレクションモジュール-コース紹介.mp4

004-コレクション モジュール-データ ウェアハウスの階層化: 階層化の理由.mp4

005-コレクション モジュール - データ ウェアハウスの階層化と階層化の詳細.mp4

006-コレクションモジュール-全体的な要件の概要.mp4

007-コレクション モジュール-Sqoop&Flume のオフライン アーキテクチャ分析.mp4

008-コレクション モジュール - オフライン アーキテクチャ分析 FlumeTairDirSource 問題提案と解決策.mp4

009-コレクションモジュール-Kafka のオフラインアーキテクチャ分析.mp4

010-コレクションモジュール-その他のオフラインアーキテクチャ分析.mp4

011-取得モジュール-リアルタイムアーキテクチャ分析.mp4

012-取得モジュール-アーキテクチャの比較.mp4

013-収集モジュール-ログデータ収集の要件分析.mp4

014-コレクションモジュール-ログデータ収集用のMockJarパッケージテスト.mp4

015-コレクション モジュール-ログ データ収集のための SpringBoot の簡単な紹介.mp4

016-コレクションモジュール-ログデータ収集 SpringBoot プロジェクトの作成と簡単なテスト.mp4

017-コレクション モジュール-ログ データ収集 SpringBoot プロジェクトの作成とパラメータの追加テスト.mp4

018-コレクションモジュール-ログデータ収集データ保存と Kafka への書き込みエンコード.mp4

019-コレクション モジュール-ログ データ収集データの保存と Kafka への書き込みローカル テスト.mp4

020-コレクション モジュール-ログ データ収集データ ストレージと Kafka への書き込み単一マシン テスト.mp4

021-収集モジュール-ログデータ収集Nginx入門.mp4

022-収集モジュール-ログ データ収集 Nginx のインストールと起動.mp4

023-コレクション モジュール-ログ データ収集 Nginx 構成 負荷分散とテスト.mp4

024-収集モジュール-ログデータ収集のクラスターテスト.mp4

025-コレクション モジュール - ビジネス データ収集データベースとテーブル構築.mp4

026-コレクション モジュール-ビジネス データ収集 FlinkCDC CDC との比較.mp4

027-コレクション モジュール-ビジネス データ収集のための FlinkCDC の概要.mp4

028-コレクション モジュール-ビジネス データ収集 FlinkCDC データストリーム モード エンコーディング.mp4

029-コレクション モジュール-ビジネス データ収集のための FlinkCDC データストリーム メソッド テスト.mp4

030-コレクション モジュール-ビジネス データ収集 FlinkCDC DataStreamAPI CK の設定とパックとオープン クラスター.mp4

031-コレクション モジュール - ビジネス データ収集 FlinkCDC DataStreamAPI ブレークポイント再開テストのパッケージ化.mp4

032-コレクション モジュール - ビジネス データ収集 FlinkCDC FlinkSQLAPI コーディングとテスト.mp4

033-コレクション モジュール - ビジネス データ収集 FlinkCDC DataStreamAPI カスタム デシリアライザー形式の説明.mp4

034-コレクション モジュール-ビジネス データ収集 FlinkCDC DataStreamAPI カスタム デシリアライザー エンコーディング完了.mp4

035-コレクション モジュール-ビジネス データ収集 FlinkCDC DataStreamAPI カスタム デシリアライザー コード テスト.mp4

036-コレクション モジュール - ビジネス データ収集のための FlinkCDC DataStreamAPI と FlinkSQL の比較.mp4

037-コレクション モジュール - ビジネス データ収集 Maxwell インストール手順とテスト.mp4

038-コレクション モジュール - ビジネス データ収集 チャネルのインストール手順とテスト.mp4

039-収集モジュール-CDC ビジネス データ収集の比較.mp4

040-コレクション モジュール-ビジネス データ収集: MySQL データを読み取り、Kafka エンコーディングに書き込む.mp4

041-コレクション モジュール - ビジネス データ収集 MySQL データの読み取りと Kafka への書き込みテスト.mp4

042-DWD&DIM-コース紹介.mp4

043-DWD&DIM-行動データ需要分析.mp4

044-DWD&DIM-動作データのアイデア、Kafka データのソートと使用.mp4

045-DWD&DIM-動作データはデータをJSONオブジェクトに変換します.mp4

046-DWD&DIM-新規ユーザーと既存ユーザーの行動データ検証.mp4

047-DWD&DIM-動作データ側出力ストリームと Kafka への書き込み.mp4

048-DWD&DIM-行動データテスト.mp4

049-DWD&DIM-ビジネスデータ需要分析.mp4

050-DWD&DIM-ビジネスデータのコードロジック結合.mp4

051-DWD&DIM-ビジネス データ コードによる消費データの書き込みとフィルタリング.mp4

052-DWD&DIM-ビジネスデータコードの書き込み、構成テーブルの読み取り、ブロードキャストストリームの作成.mp4

053-DWD&DIM-ビジネスデータコード作成構成テーブルフィールド分析&テーブル作成&JavaBean.mp4

054-DWD&DIM-ビジネスデータコードの記述、構成テーブルを開く Binlog とテスト.mp4

055-DWD&DIM-メインストリームとブロードキャスト ストリームを接続し、ビジネス ロジックを分析するためのビジネス データ コードの作成.mp4

056-DWD&DIM-TableProcessFunction を作成し、関連パラメータを初期化するためのビジネス データ コードの記述.mp4

057-DWD&DIM-ビジネスデータコードの作成と処理、ブロードキャストストリームデータの解析、データとテーブルの構築.mp4

058-DWD&DIM-ビジネスデータコードの書き込みと処理ブロードキャストストリームデータの書き込みステータス.mp4

059-DWD&DIM-ビジネス データ コードの記述と処理、メインストリーム データの読み取りステータスとフィルター フィールド.mp4

060-DWD&DIM-ビジネスデータコードの作成と処理主流データ補足SinkTable&diversion.mp4

061-DWD&DIM-ビジネスデータコードの作成とチェックコード.mp4

062-DWD&DIM-ビジネスデータコードライティングテスト準備.mp4

063-DWD&DIM-ビジネスデータコードライティングテスト.mp4

064-DWD&DIM-HBase エンコーディングにデータを書き込むためのビジネス データ コードの書き込み.mp4

065-DWD&DIM-Kafka エンコーディングにデータを書き込むためのビジネス データ コードの書き込み.mp4

066-DWD&DIM-ビジネスデータの総合テスト環境準備.mp4

067-DWD&DIM-業務データの全体テスト完了.mp4

068-ODS&DWD&DIM-短い要約.mp4

069-ODS&DWD&DIM-SQL 要件の共有とテーブルの作成とデータのインポート.mp4

070-ODS&DWD&DIM-SQL 共有ソリューション 1.mp4

071-ODS&DWD&DIM-SQL 共有ソリューション 2.mp4

072-ODS&DWD&DIM-SQL 共有 HiveOnSpark バグの説明.mp4

073-DWM層需要分析.mp4

074-DWM レイヤー - 訪問者 UV 需要分析.mp4

075-DWM レイヤー ビジター UV コードは消費データを書き込み、それを JSON オブジェクトに変換します。mp4

076-DWM レイヤー ビジター UV コード書き込みフィルター データ.mp4

077-DWM レイヤー ビジター UV コード書き込みにより、状態が大きくなりすぎないように状態タイムアウトが設定されます。mp4

078-DWM レイヤー ビジター UV コード テスト.mp4

079-DWMレイヤー-詳細な需要分析からのジャンプ.mp4

080-DWMレイヤーからの飛び出し詳細コード書き方.mp4

081-DWMレイヤーからの飛び出し詳細コードテスト.mp4

082-DWM レイヤー - 詳細外ジャンプ テスト.mp4

083-DWM レイヤー - 詳細 CEP ループ モードからのジャンプ.mp4

084-DWM レイヤーオーダーワイドテーブル需要分析.mp4

085-DWM レイヤーオーダーワイドテーブルダブルストリーム JOIN 公式ドキュメント説明.mp4

086-DWM レイヤー順ワイドテーブルダブルストリーム JOIN コード書き込み.mp4

087-DWM レイヤー順ワイドテーブルダブルストリーム JOIN コードテスト.mp4

088-DWM レイヤーオーダーワイドテーブルコード書き込み消費 Kafka データ & 変換 JavaBean & 抽出イベント時間.mp4

089-DWM レイヤーオーダーワイドテーブルコード書き込みオーダーとオーダー詳細テーブルダブルストリーム JOIN.mp4

090-DWM レイヤーオーダーワイドテーブルコードテスト準備.mp4

091-DWM レイヤー順序ワイドテーブルコードテスト テスト完了.mp4

092-DWM レイヤー順序ワイドテーブル関連付けディメンションアイデアソート.mp4

093-DWM レイヤー - オーダーワイドテーブル関連付けディメンション JDBCUtil 戻り値とパラメータの説明.mp4

094-DWM レイヤー - オーダーワイドテーブル関連ディメンション JDBCUtil クエリとカプセル化汎用オブジェクト.mp4

095-DWM レイヤー - オーダーワイドテーブル関連ディメンション JDBCUtil テスト.mp4

096-DWM レイヤーオーダーワイドテーブル関連ディメンション DimUtil カプセル化と最適化の必要性.mp4

097-DWM レイヤー - オーダーワイドテーブル関連付けディメンション最適化 1 バイパスキャッシュアイデア分析.mp4

098-DWM レイヤー順序ワイドテーブル関連付けディメンション最適化 1 バイパスキャッシュ Redis ツールクラス & キー設計.mp4

099-DWM レイヤー - オーダーワイドテーブルアソシエーションディメンション最適化 1 バイパスキャッシュコード書き込み.mp4

100-DWM レイヤーオーダーワイドテーブルアソシエーションディメンション最適化 1 バイパスキャッシュコードテスト.mp4

101-DWM レイヤーオーダーワイドテーブルレビュー.mp4

102-DWM レイヤー - オーダーワイドテーブルアソシエーションディメンション最適化 2 非同期 IO の説明.mp4

103-DWM レイヤー - オーダーワイドテーブルアソシエーションディメンション最適化 2 非同期 IO エンコーディング手順.mp4

104-DWM レイヤー順序ワイドテーブル関連付けディメンション最適化 2 非同期 IO エンコーディング初期化関数.mp4

105-DWM レイヤー - オーダーワイドテーブルアソシエーションディメンション最適化 2 非同期 IO エンコーディング非同期関数完了.mp4

106-DWM レイヤー - オーダーワイドテーブルアソシエーションディメンション最適化 2 非同期 IO コーディングテスト準備.mp4

107-DWM レイヤー - オーダーワイドテーブルアソシエーションディメンション最適化 2 非同期 IO エンコードテスト完了.mp4

108-DWM レイヤー順序ワイド テーブル関連ディメンションは他のディメンション情報を補足します。mp4

109-DWM レイヤー順序ワイドテーブル最終テスト.mp4

110-DWM レイヤーオーダーワイドテーブルはディメンションデータを失わない説明.mp4

111-DWM レイヤー支払いワイドテーブル需要分析.mp4

112-DWM レイヤー支払いワイドテーブルコード書き込み.mp4

113-DWM レイヤー支払いワイドテーブルコードテスト.mp4

114-DWM レイヤー支払いワイドテーブル時間ツールの説明.mp4

115-DWS レイヤーコース紹介.mp4

116-DWS レイヤー - 訪問者テーマ ワイド テーブル需要分析.mp4

117-DWS レイヤー-ゲスト トピック ワイド テーブルのアイデアの並べ替えと Kafka データの読み取り.mp4

118-DWS レイヤー - ゲスト トピック ワイド テーブル処理出力ストリーム & 結合 & タイムスタンプ グループ化の抽出.mp4

119-DWS レイヤー - 訪問者テーマのワイド テーブル ウィンドウのオープンと集約.mp4

120-DWS レイヤー-ゲストテーマワイドテーブル印刷テスト.mp4

121-DWSレイヤー-ClickHouseコース紹介.mp4

122-DWS レイヤー-ClickHouse の概要と機能.mp4

123-DWSレイヤー-ClickHouseインストール準備.mp4

124-DWS レイヤー-ClickHouse のインストールと起動.mp4

125-DWS レイヤー-ClickHouse データ型.mp4

126-DWSレイヤー-ClickHouseシンプルエンジン紹介.mp4

127-DWS レイヤー-ClickHouse MergeTree.mp4

128-DWS レイヤー-ClickHouse MergeTree パーティション By.mp4

129-DWS レイヤー-ClickHouse MergeTree プライマリキー.mp4

130-DWS レイヤー-ClickHouse MergeTree Order By.mp4

131-DWS レイヤー-ClickHouse MergeTree TTL.mp4

132-DWS レイヤー-ClickHouse ReplacingMergeTree.mp4

133-DWS レイヤー-ClickHouse SummingMergeTree.mp4

134-DWS レイヤー-ClickHouse エンジン選択分析.mp4

135-DWS レイヤー-ClickHouse SQL 操作 1.mp4

136-DWS レイヤー-ClickHouse SQL 操作 2.mp4

137-DWS レイヤー-ClickHouse コピーメカニズム.mp4

138-DWS レイヤー-ClickHouse シャーディング メカニズムの説明.mp4

139-DWS レイヤー-ClickHouse シャーディング メカニズムの実践.mp4

140-DWS レイヤー-ゲストテーマ ClickHouseUtil 作成.mp4

141-DWS レイヤー-ゲストテーマ ClickHouseUtil パッケージ.mp4

142-DWS レイヤー ビジター テーマ ClickHouseUtil パッケージ化完了.mp4

143-DWS レイヤー-ゲストテーマ ClickHouseUtil テスト完了.mp4

144-DWS レイヤー - 商品テーマ需要分析.mp4

145-DWS レイヤー - 製品テーマ JavaBean の説明.mp4

146-DWS レイヤー - 製品テーマコード作成アイデアと消費データ作成フロー.mp4

147-DWS レイヤー - 製品テーマコード書き込みと処理ページログ & 収集データ & ショッピングカートデータ.mp4

148-DWS レイヤー - 製品テーマコードの書き込みと注文および支払いデータの処理.mp4

149-DWS レイヤー - 製品テーマコードの書き込みと返品注文と評価データの処理.mp4

150-DWS レイヤー-商品テーマコード書き込みグループウィンドウのオープンと集約.mp4

151-DWS レイヤー商品テーマ コードは、関連するディメンションを書き込み、データを ClickHouse.mp4 に書き込みます。

152-DWS レイヤー-製品テーマ-全体テスト.mp4

153-DWS レイヤー-製品テーマ-需要分析.mp4

154-DWS レイヤー - コモディティ テーマのコード記述および作成環境と DDL を使用した Kafka データの読み取り.mp4

155-DWS レイヤー商品テーマコード書き込みグループウィンドウ集約.mp4

156-DWS レイヤー - 製品テーマ コードの記述 動的テーブルをストリームに変換して .mp4 を印刷

157-DWS レイヤー商品テーマコード書き込み ClickHouse にデータを書き込む & test.mp4

158-DWSレイヤーキーワードテーマ需要分析.mp4

159-DWS レイヤー キーワード テーマ コード ライティング 単語分割ツール クラス カプセル化.mp4

160-DWS レイヤー キーワード テーマ コード ライティング セグメンテーション UDTF.mp4

161-DWS レイヤー - キーワード テーマ コード ライティング アイデア 分析 & データ 読み取り & テーブル構築.mp4

162-DWS レイヤー キーワード テーマ コード ライティング セグメンテーション & ウィンドウ集約.mp4

163-DWS レイヤー キーワード テーマ コード 書き込み 動的テーブル変換 ストリーム & ClickHouse.mp4 への書き込み

164-DWS レイヤー キーワード テーマ コード テスト.mp4

165-データ視覚化-コース紹介.mp4

166-データ可視化-Sugar が大きなスクリーンを作成します.mp4

167-データ可視化-砂糖の使用手順の紹介.mp4

168-データ可視化-データインターフェースプロジェクト構築.mp4

169-データ視覚化-データ インターフェース依存関係のインポートとレイヤー化の説明.mp4

170-データ視覚化-データ インターフェイス GMV インターフェイス マッパーが完成しました.mp4

171-データ可視化-データ インターフェイス GMV インターフェイス サービスとコントローラーの完了.mp4

172-データ視覚化-データ インターフェイス GMV インターフェイス テスト.mp4

173-データ可視化-データ インターフェイス GMV インターフェイス ドッキング シュガー.mp4

174-データ視覚化-データ インターフェース ブランド GMV インターフェース マッパー完了.mp4

175-データ可視化-データインターフェースブランドGMVインターフェースサービス完了.mp4

176-データ可視化-データ インターフェース ブランド GMV インターフェース コントローラー完成.mp4

177-データ視覚化-データ インターフェース ブランド GMV インターフェース テスト完了.mp4

178-データ可視化-データインターフェース ブランド GMV インターフェース ドッキング シュガー.mp4

179-データ視覚化-データ インターフェイス インポート コードとカテゴリ GMV および SPU GMV.mp4

180-データ視覚化-データ インターフェースその他の要件チャート.mp4

181-データ可視化-最終テスト.mp4

182-Flink 最適化-コース紹介.mp4

183-Flink 最適化-リソース最適化メモリ設定.mp4

184-Flink 最適化 - リソース最適化のための並列設定.mp4

185-Flink 最適化-リソース最適化 RockDB 構成.mp4

186-Flink 最適化-リソース最適化のためのチェックポイント構成.mp4

187-Flink 最適化-リソース最適化のための ParameterTool の紹介.mp4

188-Flink 最適化-バック プレッシャー処理 バック プレッシャーの概要と配置.mp4

189-Flink 最適化 - バック プレッシャー処理のバック プレッシャー問題の解決.mp4

190-Flink 最適化 - データ スキューの位置の問題.mp4

191-Flink 最適化-KeyBy 前のデータ スキュー.mp4

192-Flink 最適化 - KeyBy 後のデータ傾斜直接集約.mp4

193-Flink 最適化-ウィンドウ集約後のデータ傾斜 KeyBy.mp4

194-Flink 最適化-KafkaSource.mp4

195-Flink 最適化-FlinkSQL 最適化ミニバッチ.mp4

196-Flink 最適化-FlinkSQL 最適化 LocalGlobal.mp4

197-Flink 最適化-FlinkSQL 最適化 SplitDistinct.mp4

198-Flink 最適化-フィルターを使用した FlinkSQL 最適化 Agg.mp4

199-Flink 最適化-FlinkSQL 最適化 TopN 最適化.mp4

200-Flink 最適化-FlinkSQL 最適化重複排除ソリューションとその他.mp4