ビッグデータ AWS Batchでのジョブキューとスケジューラ動作検証 – EC2マネージド環境でのリソース不足時の挙動 AWS Batchのジョブキューとスケジューラの動作をEC2マネージド環境で検証。リソース不足時にジョブがどのように待機し、再度リソースが確保された際の動作を解説します。 2024.09.22 ビッグデータ
ビッグデータ AWS BatchとStep Functionsでバッチ処理を自動化する手順 – S3トリガーからジョブ実行まで – AWS BatchとStep Functionsを使って、S3イベントをトリガーにしたバッチ処理の自動化を解説。S3、EventBridge、Step Functionsを組み合わせることで、AWS環境での効率的なジョブフローを実現。詳細な手順、よくある質問、ベストプラクティスを含むガイドです。 2024.09.21 ビッグデータ
データマネジメント データアーキテクチャの検討方法を解説 – ビジネス目標からアーキテクチャまでの検討ステップ- データはビジネスに重要です。しかし、この貴重なリソースを最大限に活用するためには、効果的なデータアーキテクチャが不可欠です。このブログでは、ビジネス目標の明確化から始まり、適切な技術選定に至るまで、データアーキテクチャの構築に必要な重要なステップを詳しく解説します。事業戦略の洗い出しから物理アーキテクチャの決定に至るまで、どのようにデータアーキテクチャがビジネスの成長とイノベーションを支えるかを記載します。 2023.12.02 データマネジメント
データマネジメント データメッシュ解説:大規模組織に適している分散データアーキテクチャの紹介 データメッシュは比較的新しい概念や手法です。これは、企業や個人がデータを効率的に管理、活用するためのアプローチです。この記事では、データメッシュの基本的な概念から特徴、そして用途まで幅広く解説します。さらに、他のデータ管理手法との比較や、導入に必要な技術についても詳しく説明します。本記事は、初心者から経験者までを対象とし、データメッシュについての理解を深めることを狙いとしています。特に、複数の事業や部門がある大企業や、多くのステークホルダー、プロダクトを保有している企業に対して参考になります。 2023.09.18 データマネジメント
データマネジメント 【アーキテクチャー】マスタデータ管理(MDM)の検討 この記事は、マスタデータ管理(MDM)のアーキテクチャについて、検討ステップ及び実装パターンを解説しています。 2023.07.02 データマネジメント